[내일배움캠프] 심화프로젝트 EDA 마무리 및 모델링

제약 제조공정 데이터 전처리 재수정과 EDA 기반 머신러닝 모델링 방향 설정

1. 오늘의 학습 목표

오늘의 목표는 단순히 머신러닝 모델을 돌려보는 것이 아니라, 모델링에 사용할 데이터가 정말 적절한 형태인지 다시 점검하고, EDA 결과를 바탕으로 어떤 모델링 방향이 타당한지 판단하는 것이었다.

이번 프로젝트의 예측 대상은 평균 용출률인 dissolution_av이다. 따라서 원자재 품질, 제조 공정 조건, 시계열 공정 안정성 변수를 활용해 평균 용출률을 예측하는 회귀 문제로 접근했다.

특히 오늘은 다음 세 가지에 집중했다.

첫째, 전처리 과정에서 데이터 누수가 발생하지 않도록 입력 변수와 타깃 변수를 다시 점검했다.
둘째, EDA 결과를 바탕으로 어떤 변수를 모델링 후보로 볼 수 있는지 판단했다.
셋째, 이상치 처리, 즉 clipping을 적용했을 때 모델 성능이 실제로 좋아지는지 비교했다.

---

2. 오늘 진행한 내용

오늘은 기존 전처리 결과를 다시 확인하면서, 최종적으로 모델링에 사용할 데이터셋의 구조를 점검했다.

이번 데이터는 여러 파일에 흩어져 있었다. Laboratory 데이터에는 원자재 품질 변수와 일부 품질 결과가 있었고, Process 데이터에는 batch 단위의 공정 요약 정보가 있었다. Normalization 데이터에는 제품 code별 보정 정보가 있었으며, 1번부터 25번까지의 시계열 파일에는 10초 단위의 공정 센서 데이터가 들어 있었다.

중요한 점은 최종 타깃인 dissolution_av가 batch 단위로 하나씩 존재한다는 것이다. 그래서 시계열 데이터를 그대로 모델에 넣는 것이 아니라, batch와 code 기준으로 요약해야 했다. 각 batch에 대해 센서 평균, 표준편차, 최소값, 최대값, CV, 공정 시간, 생산량, 폐기량, 폐기율 등을 계산하여 하나의 행으로 정리했다.

즉, 최종 데이터는 다음과 같은 구조가 되도록 만들었다.

한 행 = 하나의 batch
X = 원자재 품질 + 공정 요약 + 제품 보정 + 시계열 공정 안정성 변수
y = 평균 용출률 dissolution_av

또한 결측치는 전처리 단계에서 무작정 채우지 않고, 모델링 단계에서 train/test split 이후 SimpleImputer 등을 이용해 처리하는 방향으로 정리했다. 전체 데이터 기준으로 결측치를 먼저 채우면 test 데이터의 정보가 train 과정에 섞일 수 있기 때문에 데이터 누수 가능성이 생긴다.

---

3. EDA를 통해 확인한 방향

EDA에서는 원자재 품질 변수와 시계열 공정 안정성 변수가 평균 용출률과 어떤 관계를 갖는지 확인했다.

원자재 품질 변수 중에서는 API 입도, API 불순물, Lactose 수분 관련 변수가 평균 용출률과 약한 관계를 보였다. 예를 들어 api_ps05, api_l_impurity, lactose_water 등이 상대적으로 눈에 띄었다. 하지만 상관계수 자체는 크지 않았기 때문에, 이 변수들만으로 평균 용출률을 강하게 설명하기는 어렵다고 판단했다.

시계열 변수에서는 CV 변수들이 눈에 띄었다. ts_fom_cv, ts_tbl_speed_cv, ts_pre_comp_cv, ts_tbl_fill_cv 등이 전체 데이터 기준으로 평균 용출률과 약한 양의 관계를 보였다. CV는 평균 대비 공정이 얼마나 흔들렸는지를 나타내는 지표이기 때문에, 단순한 공정 평균값보다 공정 안정성을 설명하는 데 의미가 있다고 보았다.

하지만 여기서 바로 “공정 변동성이 용출률에 영향을 준다”고 결론 내리면 위험하다고 판단했다. 제품 code별로 평균 용출률 수준이 다를 수 있기 때문이다. 전체 데이터를 섞어서 보면 특정 CV 변수가 용출률과 관계 있어 보이더라도, 실제로는 제품 종류 차이 때문에 생긴 결과일 수 있다.

그래서 오늘의 중요한 EDA 결론은 다음과 같았다.

CV 변수와 폐기율은 모델링 후보 변수로 사용할 가치는 있지만, 단독으로 강한 설명 변수라고 보기보다는 제품 code와 함께 해석해야 한다.

특히 ts_waste_rate는 폐기율 자체도 중요하지만, 결측 비율이 높기 때문에 결측 여부 자체도 정보가 될 수 있다고 판단했다. 따라서 모델링 단계에서는 ts_waste_rate 값뿐만 아니라 ts_waste_rate_missing 같은 결측 여부 변수를 추가하는 방향이 적절하다고 보았다.

---

4. 오늘의 핵심 의사결정 과정

오늘 가장 중요했던 부분은 단순히 코드를 실행하는 것이 아니라, 왜 이 방향으로 모델링해야 하는지 판단하는 과정이었다.

처음에는 전처리된 데이터를 이용해 여러 회귀 모델을 비교했다. LinearRegression, RandomForest, GradientBoosting, CatBoost 등을 사용했고, 원본 데이터와 clipping을 적용한 데이터를 나누어 성능을 비교했다.

clipping은 이상치의 영향을 줄이기 위한 방법이다. 일반적으로 선형 모델은 이상치에 민감하기 때문에 clipping을 하면 성능이 좋아질 가능성이 있다. 반면 트리 기반 모델은 변수의 분할 기준을 학습하기 때문에 선형 모델보다 이상치에 비교적 덜 민감할 수 있다.

실제 결과도 이 방향과 비슷하게 나타났다.

LinearRegression은 원본 데이터에서 R²가 크게 음수로 나왔고, RMSE도 매우 컸다. 하지만 clipping을 적용하자 R²가 약 0.20 수준까지 개선되었고, RMSE와 MAE도 크게 줄었다. 즉, 선형 회귀는 이상치의 영향을 많이 받고 있었던 것으로 해석할 수 있다.

하지만 RandomForest, GradientBoosting, CatBoost 같은 트리 기반 모델들은 clipping 후 오히려 성능이 조금 떨어지거나 큰 개선이 없었다. 예를 들어 CatBoost는 원본 R²가 약 0.47이었지만 clipping 후 약 0.45로 낮아졌고, GradientBoosting도 원본 R² 약 0.476에서 clipping 후 약 0.468로 소폭 낮아졌다. RandomForest 역시 clipping 후 R²가 소폭 감소했다.

이 결과를 보고 오늘의 모델링 방향을 다음과 같이 결정했다.

LinearRegression은 clipping 효과를 확인하기 위한 비교 모델로 의미가 있지만, 최종 모델 후보로는 적절하지 않다.
트리 기반 모델은 clipping을 하지 않은 원본 데이터에서 더 좋은 성능을 보였으므로, 최종 모델링은 원본 데이터 기반 GradientBoosting 또는 CatBoost를 중심으로 진행하는 것이 타당하다.

특히 GradientBoosting은 원본 데이터 기준으로 R²와 RMSE가 가장 안정적으로 나왔기 때문에 우선 후보로 볼 수 있었다. 다만 CatBoost도 비슷한 성능을 보여서, 최종 결론에서는 두 모델을 함께 비교하는 것이 좋다고 판단했다.

---

5. 시각화 방향 설정

오늘은 최종 결론을 더 설득력 있게 보여주기 위해 어떤 시각화 자료를 만들지도 정리했다.

단순히 모델 성능 숫자만 보여주면 왜 그런 결론을 내렸는지 설명하기 어렵다. 그래서 다음과 같은 시각화를 활용하기로 했다.

먼저 모델별 성능 비교 barplot을 통해 R², RMSE, MAE를 비교한다. 이를 통해 어떤 모델이 전체적으로 안정적인 성능을 보였는지 확인할 수 있다.

다음으로 원본 데이터와 clipping 데이터의 성능 차이를 heatmap으로 표현한다. 이 시각화는 clipping이 어떤 모델에는 도움이 되었고, 어떤 모델에는 오히려 성능을 낮췄는지 한눈에 보여줄 수 있다.

또한 feature correlation heatmap을 통해 원자재 품질 변수, CV 변수, 폐기율, 평균 용출률 사이의 관계를 확인한다. pair plot은 주요 변수들 간의 분포와 관계를 시각적으로 확인하는 데 사용할 수 있다.

마지막으로 prediction vs actual 산점도와 residual plot을 사용하면 모델이 실제값을 얼마나 잘 따라가는지, 특정 구간에서 오차가 커지는지 확인할 수 있다.

즉, 오늘의 시각화 방향은 단순히 예쁜 그래프를 만드는 것이 아니라, EDA → 모델링 → 의사결정의 흐름을 설명하기 위한 자료를 만드는 것이었다.

---

6. 어려웠던 점

가장 어려웠던 점은 상관관계와 실제 영향력을 구분하는 것이었다.

전체 데이터 기준으로 보면 CV 변수들이 평균 용출률과 어느 정도 관계가 있어 보였다. 하지만 제품 code를 고려하면 그 관계가 약해질 수 있었다. 이 부분에서 단순히 상관계수가 높아 보이는 변수를 중요한 변수라고 말하면 안 된다는 점을 다시 느꼈다.

또 하나 어려웠던 점은 clipping 결과를 해석하는 것이었다. 처음에는 이상치를 줄이면 모든 모델의 성능이 좋아질 것이라고 생각하기 쉬웠다. 하지만 실제 결과는 그렇지 않았다. LinearRegression은 clipping으로 성능이 크게 개선되었지만, 트리 기반 모델은 오히려 성능이 낮아졌다.

이를 통해 전처리는 무조건 많이 한다고 좋은 것이 아니라, 모델의 특성과 데이터 구조에 맞게 선택해야 한다는 점을 배웠다.

---

7. 느낀 점

오늘 학습을 통해 머신러닝 프로젝트에서 중요한 것은 모델을 많이 돌리는 것이 아니라, 데이터와 문제를 어떻게 이해하고 어떤 기준으로 판단하는지라는 것을 느꼈다.

특히 제조공정 데이터에서는 제품 code, 원자재 품질, 공정 조건, 시계열 안정성 지표가 서로 얽혀 있기 때문에 단순한 상관분석만으로 결론을 내리기 어렵다. 따라서 EDA 단계에서 “이 변수가 정말 타깃과 관련 있는가?”, “혹시 제품 종류 차이 때문에 그렇게 보이는 것은 아닌가?”, “이 변수를 모델에 넣었을 때 해석상 문제가 없는가?”를 계속 질문해야 했다.

또한 clipping 실험을 통해 같은 전처리 방법도 모델에 따라 결과가 다르게 나타날 수 있다는 점을 확인했다. 선형 모델은 이상치에 민감해서 clipping의 효과를 크게 받았지만, 트리 기반 모델은 원본 데이터의 정보를 더 잘 활용하는 것으로 보였다.

결국 오늘의 가장 큰 배움은 다음과 같다.

EDA는 모델링 전에 하는 단순한 확인 작업이 아니라, 모델링 방향을 결정하는 근거가 된다.
전처리는 무조건 데이터를 깔끔하게 만드는 과정이 아니라, 예측 문제와 모델 특성에 맞게 판단해야 하는 과정이다.
최종 모델 선택은 성능 지표뿐만 아니라, 데이터 해석과 의사결정 과정까지 함께 고려해야 한다.

---

8. 다음 학습 계획

다음 단계에서는 GradientBoosting과 CatBoost를 중심으로 모델 성능을 더 자세히 비교할 예정이다.

또한 feature importance를 확인해서 어떤 변수들이 평균 용출률 예측에 더 많이 기여했는지 분석하고, EDA에서 중요하게 봤던 CV 변수와 폐기율 변수가 실제 모델에서도 의미 있게 사용되는지 확인하고 싶다.

마지막으로 최종 발표나 보고서에 사용할 수 있도록 성능 비교 그래프, clipping 효과 heatmap, correlation heatmap, pair plot, residual plot 등을 정리하여 모델링 결과를 시각적으로 설명할 계획이다.