[내일배움캠프] EDA... 모델링은 언제 해요?

오늘은 머신러닝 프로젝트에서 전처리와 EDA, 그리고 앞으로 모델을 어떻게 만들어야 하는지에 대해 정리하는 시간을 가졌습니다.

사실 처음에는
전처리 파일은 얼추 돌아가는 것 같은데… 그래서 내가 뭘 봐야 하지....
EDA 결론은 대체 뭐라고 말해야 하지?.......
시계열 데이터는 그냥 냅다 모델에 넣으면 되는 건가?

이런 상태였습니다.

네, 쉽게 말하면 데이터 앞에서 약간 멍해진 사람 상태였다는 뜻입니다.
하지만 오늘 하나씩 정리해보면서 적어도 우리 프로젝트가 어떤 흐름으로 가야 하는지는 조금씩 보이기 시작했습니다.

---

오늘의 학습 목표

오늘의 목표는 크게 세 가지였습니다.

첫 번째는 전처리 코드가 어떤 흐름으로 구성되어 있는지 이해하기였습니다.
단순히 코드가 실행되는지만 보는 것이 아니라, 왜 이 컬럼을 만들었는지, 왜 batch와 code 기준으로 병합하는지, 왜 target 변수를 따로 관리해야 하는지를 이해하는 것이 중요했습니다.

두 번째는 EDA를 통해 어떤 결론을 낼 수 있는지 정리하기였습니다.
그래프를 이것저것 그리는 것에서 끝나는 게 아니라, 그래프를 보고 “그래서 이 데이터에서 뭘 알 수 있는데?”까지 말할 수 있어야 했습니다.

세 번째는 앞으로 머신러닝 모델 개발을 어떤 방향으로 진행해야 하는지 이해하기였습니다.
특히 이번 프로젝트는 dissolution_av, 즉 평균 용출률을 예측하는 문제이기 때문에 분류가 아니라 회귀 문제로 접근해야 한다는 점을 정리했습니다.

---

오늘 다룬 데이터 구조

이번 프로젝트의 핵심은 제약 제조 공정 데이터입니다.

간단하게 말하면,

원자재 품질과 제조 공정 조건을 바탕으로
최종 제품의 평균 용출률을 예측하는 문제

 

여기서 우리가 예측하고 싶은 값은 dissolution_av입니다.
이 값은 숫자로 나타나는 연속형 데이터이기 때문에 머신러닝에서는 회귀 모델을 사용하게 됩니다.

예를 들어 시험 점수를 예측하거나, 집값을 예측하거나, 매출을 예측하는 것처럼
정답이 특정 카테고리가 아니라 숫자인 경우 회귀 문제라고 생각하면 됩니다.

그래서 우리 프로젝트의 구조는 대략 이렇게 정리할 수 있습니다.

X는 모델이 참고할 입력 데이터입니다.

• 원자재 품질 데이터
• 제조 공정 요약 데이터
• 제품 code 정보
• 시계열 공정 안정성 변수

y는 모델이 맞혀야 하는 정답입니다.

• dissolution_av

즉, 모델 입장에서는 이런 질문을 받는 셈입니다.

“이 원료를 사용했고, 이런 공정 조건에서 생산했고, 공정이 이 정도로 안정적이었다면 평균 용출률은 얼마일까?”

---

전처리에서 중요했던 부분

전처리 과정에서는 여러 파일에 흩어져 있는 데이터를 하나의 분석용 데이터셋으로 합치는 작업이 중요했습니다.

특히 batch와 code를 기준으로 데이터를 병합했습니다.
여기서 batch는 생산 단위, code는 제품 종류 또는 제품 구분값이라고 이해하면 됩니다.

즉, 같은 batch와 code에 해당하는 원자재 정보, 공정 정보, 최종 품질 정보를 한 줄로 합쳐야 모델이 학습할 수 있는 형태가 됩니다.

또 하나 중요했던 점은 숫자처럼 보이지만 실제로는 문자열로 읽힌 값들을 정리하는 것이었습니다.
이런 값들은 그대로 두면 계산이 제대로 되지 않기 때문에 clean_numeric() 같은 함수를 이용해서 숫자형으로 변환해주었습니다.

그리고 최종적으로는 전처리된 데이터를 merged_full_dataset.csv 형태로 저장했습니다.
이렇게 저장해두면 이후 EDA와 모델링 단계에서 같은 전처리를 반복하지 않아도 되고, 팀원들과도 동일한 기준의 데이터를 공유할 수 있습니다.

이 부분이 은근히 중요했습니다.

처음에는 그냥 코드가 실행되면 되는 거 아닌가 싶었는데,
프로젝트가 진행될수록 전처리와 모델링을 분리해두는 것이 훨씬 깔끔하다는 걸 느꼈습니다.

---

시계열 데이터는 어떻게 처리해야 할까?

오늘 가장 헷갈렸던 부분 중 하나가 바로 시계열 데이터였습니다.

우리 데이터에는 10초 단위로 기록된 공정 데이터들이 있었습니다.
처음에는 그럼 이걸 그냥 다 모델에 넣으면 되는 거 아닌가? 싶었는데요

하지만 그렇게 하면 문제가 생깁니다.

시계열 데이터는 한 batch 안에서도 여러 행으로 구성되어 있습니다.
그런데 우리가 최종적으로 예측하고 싶은 dissolution_av는 batch 단위의 결과값입니다.

즉, 입력 데이터는 10초마다 여러 줄인데, 정답은 batch당 하나인 상황입니다.
이 상태로는 바로 모델에 넣기가 어려워서요...?  시계열 데이터를 batch 단위로 요약해야 해요

예를 들어 특정 센서값에 대해 다음과 같은 요약값을 만들 수 있습니다.

• 평균값
• 표준편차
• 최솟값
• 최댓값
• 범위
• 변동계수

여기서 특히 중요하게 본 것이 변동계수 CV였습니다.
CV는 쉽게 말하면 평균 대비 얼마나 흔들렸는지를 보여주는 값입니다.

공정이 안정적이면 값의 변화가 작을 것이고, 공정이 불안정하면 값이 많이 흔들릴 수 있습니다.

그래서 시계열 데이터를 단순히 “값이 몇이었다”로 보는 것이 아니라,
“이 batch의 공정이 얼마나 안정적이었는가”로 요약하는 방식이 필요했습니다.

이게 오늘 시계열 데이터 처리에서 가장 중요한 포인트였습니다.

---

오늘의 EDA 결론

EDA를 하면서 여러 그래프를 확인했습니다.

처음 전체 데이터를 기준으로 봤을 때는 몇몇 공정 안정성 변수들이 dissolution_av와 약한 양의 관계를 보였습니다.

예를 들면,

• ts_fom_cv
• ts_tbl_speed_cv
• ts_pre_comp_cv
• ts_tbl_fill_cv
• ts_waste_rate

같은 변수들이 평균 용출률과 어느 정도 관계가 있어 보였습니다.

또 원자재 품질 변수 중에서는 api_ps05가 양의 관계를 보였고, api_l_impurity, lactose_water 같은 변수들은 음의 관계를 보였습니다.

처음에는 이 변수들이 용출률에 영향을 주는 건가? 라고 생각할 수 있었는데여..

하지만 여기서 끝내면 안 됐습니다. code라는 제품 구분값이 있기 때문입니다.!!!!

제품 종류가 다르면 원래 용출률 자체가 다를 수 있습니다.
그러면 어떤 변수가 용출률에 영향을 주는 것처럼 보여도, 사실은 제품 code 차이 때문에 그렇게 보이는 것일 수 있습니다.

그래서 code를 고려해서 다시 봤을 때는 대부분의 관계가 약해졌습니다.

특히 ts_fom_cv, ts_tbl_speed_cv 등은 전체 데이터에서는 관계가 있어 보였지만,
code를 나누어 보면 그 관계가 거의 사라지는 모습을 보였습니다.

다만 ts_pre_comp_cv는 code를 고려한 후에도 약간의 관계가 남아 있는 변수로 보였습니다.

그래서 오늘 EDA 결론은 이렇게 정리할 수 있을 것 같습니다.

전체 데이터만 보면 몇몇 원자재 품질 변수와 공정 안정성 변수가 용출률과 관계가 있어 보인다.
하지만 제품 code를 고려하면 대부분의 관계는 약해진다.
따라서 단순 상관관계만 보고 중요한 변수라고 판단하면 위험하며, code를 함께 고려한 분석과 모델링이 필요하다.

이게 진짜 중요한 포인트였습니다.

그래프를 그리는 것보다 더 중요한 건 그 그래프가 착시인지 아닌지를 의심하는 것이었습니다.

데이터… 생각보다 호락호락하지 않네요. 나만 순진했지 또.

---

머신러닝 모델 개발은 어떻게 이어질까?

이제 전처리와 EDA가 어느 정도 정리되면 다음 단계는 모델 개발입니다.

우리 프로젝트는 평균 용출률을 예측하는 것이기 때문에 회귀 모델을 사용합니다.

회귀 모델을 아주 단순하게 말하면,

여러 입력값을 보고 숫자 하나를 예측하는 모델

입니다.

예를 들어 모델에게 이런 정보를 줍니다.

• 원자재 품질이 어떠했는지
• 공정 조건이 어떠했는지
• 공정이 얼마나 안정적이었는지
• 어떤 제품 code인지

그러면 모델은 이 정보를 바탕으로

“이 batch의 평균 용출률은 이 정도일 것 같습니다”

라고 예측하는 것입니다.

처음에는 회귀라는 말이 너무 낯설었는데,
생각해보니 그냥 숫자를 맞히는 문제라고 이해하면 조금 편했습니다.

물론 실제 모델링에서는 단순히 아무 모델이나 돌리면 안 됩니다.

먼저 train/test 데이터를 나누고, 결측치를 어떻게 처리할지 정하고, 스케일링이 필요한 모델인지 확인하고, 기준이 되는 baseline 모델부터 만들어야 합니다.

그다음 선형회귀, 랜덤포레스트 같은 모델을 비교하면서 어떤 모델이 더 예측을 잘하는지 평가해야 합니다.

그리고 평가할 때는 예측값과 실제값의 차이를 봐야 합니다.
예를 들어 MAE나 RMSE 같은 지표를 사용할 수 있습니다.

쉽게 말하면,

• 실제 용출률과 예측 용출률이 얼마나 차이나는지
• 평균적으로 얼마나 틀리는지
• 큰 오차가 많이 발생하는지

결국 모델 개발은 단순히 “성능 좋은 모델 찾기”가 아니라,
EDA에서 발견한 데이터의 특징을 모델에 잘 반영하는 과정이라는 생각이 들었습니다.

---

어려웠던 점

오늘 어려웠던 점은 일단 데이터 구조 자체를 이해하는 것이었습니다.

파일도 여러 개고, batch도 있고, code도 있고, 시계열 데이터도 따로 있어서 처음에는 머릿속에서 데이터가 잘 연결되지 않았습니다.

특히 시계열 데이터가 왓더헬......

10초 단위로 찍힌 데이터를 어떻게 batch 단위 데이터와 연결해야 하는지, 그걸 왜 평균이나 표준편차 같은 값으로 요약해야 하는지 바로 와닿지 않았습니다.

또 EDA 결과를 해석하는 것도 어려웠습니다.

그래프를 그리는 건 코드만 있으면 어느 정도 할 수 있는데, 그 그래프를 보고 결론을 말하는 건 또 다른 문제였습니다.

특히 전체 데이터에서 보이는 관계가 code를 나눠보면 사라질 수 있다는 점이 인상적이었습니다.

아니 그러면 처음에 보였던 관계는 뭐였냐고요.
데이터가 나를 속인 건가요. 아니면 내가 너무 쉽게 믿은 건가요.

아무튼 앞으로는 상관관계 하나 보고
이 변수 중요하다 라고 말하지 않기로 했습니다.

---

느낀 점

오늘 느낀 점은 전처리, EDA, 모델링이 따로 떨어져 있는 과정이 아니라는 것입니다.

전처리를 잘해야 EDA를 제대로 할 수 있고, EDA를 해야 어떤 변수를 모델에 넣을지 판단할 수 있고,
모델링을 해봐야 우리가 세운 가설이 실제로 도움이 되는지 확인할 수 있습니다.

그리고 오늘 특히 크게 느낀 건 데이터 분석은 그래프를 많이 그리는 일이 아니라, 그래프를 보고 의심하는 일이라는 점입니다.

처음에는 시각화 그래프가 나오면 뭔가 분석을 한 것 같은 기분이 들었습니다.
그런데 막상 해석하려고 보니 중요한 건 그래프 자체가 아니라 그 그래프가 어떤 맥락에서 나온 것인지였습니다.

특히 이번 데이터에서는 code가 중요한 변수로 보였습니다.
제품 code에 따라 기본적인 용출률 차이가 있을 수 있기 때문에, 앞으로 모델링에서도 code를 어떻게 반영할지 잘 고민해야 할 것 같습니다.

오늘은 머리가 좀 복잡하긴 했지만 그래도 프로젝트의 전체 흐름이 조금은 보이기 시작했습니다.

처음에는 전처리 코드도 낯설고, EDA도 막막하고, 회귀 모델도 감이 잘 안 왔는데
이제는 적어도 우리가 무엇을 예측하려고 하는지, 그 예측을 위해 어떤 데이터를 만들어야 하는지,
EDA에서 어떤 점을 조심해야 하는지는 정리할 수 있게 된 것 같습니다.

---

마무리

오늘의 결론은 이렇습니다.

데이터는 그냥 합친다고 끝나는 게 아니고, 그래프는 그냥 그린다고 끝나는 게 아니고, 모델은 그냥 돌린다고 끝나는 게 아닙니다.

전처리에서는 모델이 학습할 수 있는 형태로 데이터를 정리해야 하고,EDA에서는 변수 간 관계를 보되 착시를 조심해야 하고,
모델링에서는 우리가 만든 변수들이 실제 예측에 도움이 되는지 확인해야 합니다.

아직 갈 길은 멀지만 그래도 오늘은 우리 프로젝트가 이런 흐름으로 가는구나 정도는 알게 된 날이었습니다.

내일의 저는 또 까먹을 수 있으니 오늘의 제가 이렇게 기록해두겠습니다.

미래의 나 제발 이 글 보고 다시 정신 차려줘............