[내일배움캠프] 팀프로젝트 데이터 전처리 및 EDA

프로젝트를 진행하다 보니 코드를 작성하는 것보다 더 중요한 것이 하나 있었다.

바로 '우리가 무엇을 예측하려는가'를 명확하게 정하는 것이었다.

처음에는 '의약품 최종 품질 예측 AI 모델 개발'이라는 큰 목표만 가지고 시작했지만, 실제 데이터를 살펴보면서 이 목표는 너무 포괄적이라는 생각이 들었다.

최종 품질이라고 해도 용출률, 불순물, 잔류용매 등 여러 품질 지표가 존재하기 때문이다.

그래서 이번 프로젝트에서는 평균 용출률(dissolution_av)을 최종 예측 대상(Target) 으로 설정하기로 했다.

---

데이터 구조 다시 정fl

데이터를 다시 하나씩 살펴보면서 각 파일의 역할도 정리했다.

• Laboratory.csv : 원자재 품질 정보와 최종 품질 측정값
• Process.csv : 공정 요약 데이터
• Normalization.csv : 제품별 정규화 정보
• 1~25.csv : 10초 단위 공정 시계열 데이터

이 중 현재 단계에서는 Laboratory와 Process 데이터를 batch와 code를 기준으로 병합하여 분석을 진행하고 있다.

분석의 기본 단위는 배치(batch) 1개 = 데이터 1행이다.

---

데이터 누수(Data Leakage)도 고려하기

Target을 dissolution_av로 정하고 나니 함께 제거해야 하는 컬럼들도 자연스럽게 결정됐다.

예를 들어 Process 데이터에는

• Drug release average (%)
• Drug release min (%)
• Residual solvent
• Total impurities
• Impurity O
• Impurity L

같은 최종 품질 정보가 포함되어 있었다.

이 값들은 실제 예측 시점에는 알 수 없는 결과값이기 때문에 입력 변수(X)로 사용하면 모델이 정답을 미리 참고하는 것과 다르지 않다.

그래서 이러한 컬럼들은 데이터 누수 방지를 위해 제거하기로 했다.

머신러닝 프로젝트에서는 모델 성능도 중요하지만, 실제 상황에서도 사용할 수 있는 모델을 만드는 것이 더 중요하다는 점을 다시 한번 느꼈다.

---

결측치 처리 방향 결정

병합한 데이터를 확인해 보니 여러 컬럼에서 결측치가 발견됐다.

특히 API 관련 변수들은 문자열로 저장되어 있었고, 공백 문자 때문에 숫자로 인식되지 않는 경우도 있었다.

먼저 공백을 NaN으로 변환하고, 자료형을 숫자(float)로 변경했다.

이후에는 중앙값(Median)을 이용해 결측치를 채웠다.

for col in median_cols:
    df[col] = df[col].fillna(df[col].median())

결측치 처리 후 다시 확인해 보니 모든 대상 컬럼의 결측치가 정상적으로 제거된 것을 확인할 수 있었다.

단순히 결측치를 없앤 것이 아니라 데이터 손실 없이 최대한 정보를 유지하는 방향을 선택했다는 점이 이번 전처리의 핵심이었다.

---

전처리가 끝났다고 해서 바로 모델링을 하면 안 되는 이유

전처리가 끝났다고 바로 머신러닝 모델을 만드는 것은 조금 이른 단계라는 생각이 들었다.

그 전에 먼저 해야 할 작업은 EDA(탐색적 데이터 분석) 이다.

EDA에서는 다음과 같은 내용을 확인할 예정이다.

• 변수들의 분포
• 이상치 존재 여부
• 변수 간 관계
• Target과의 상관성
• 제품(Code)별 품질 차이

특히 제품 코드별 용출률 차이가 크다면 모델이 공정 조건을 학습하는 것이 아니라 제품 종류만 외우는 문제가 발생할 수도 있기 때문에 반드시 확인해야 하는 부분이다.

---

EDA를 효율적으로 하기 위한 준비

컬럼이 80개가 넘다 보니 하나씩 그래프를 그리는 것은 현실적으로 어려웠다.

처음에는 Target인 dissolution_av만 시각화하면 될까 생각했지만, 프로젝트 관점에서는 입력 변수(X)들의 분포도 함께 확인해야 한다는 점을 알게 됐다.

그래서 모든 수치형 변수에 대해 자동으로

• 히스토그램
• 박스플롯
• 이상치 개수(IQR 기준)
• 기초 통계량

을 확인할 수 있는 EDA 함수를 만들기로 했다.

이렇게 만들어 두면 전처리 전과 후를 동일한 코드로 비교할 수 있고, 이후 다른 프로젝트에서도 그대로 재사용할 수 있다는 장점이 있다.

---

오늘 정리

오늘은 새로운 모델을 만든 것은 아니지만 프로젝트의 방향을 다시 한번 정리하는 시간이었다.

특히 무엇을 예측할 것인지(Target 선정) 와 데이터 누수를 어떻게 방지할 것인지를 명확하게 정리하면서 앞으로 진행해야 할 분석 방향도 훨씬 선명해졌다.

다음 단계에서는 자동으로 생성한 시각화 자료를 바탕으로 EDA를 진행하면서 어떤 변수들이 평균 용출률에 영향을 주는지 하나씩 확인해 볼 예정이다.

모델을 만드는 것보다 먼저 데이터를 이해하는 과정이 얼마나 중요한지 다시 한번 느낀 하루였다.