[내일배움캠프] QAQC_6기 제약 제조공정 데이터 분석 프로젝트를 마무리하며

1. 프로젝트를 시작하며

이번 심화 프로젝트에서는 제약 제조공정 데이터를 활용해 평균 용출률을 예측하는 머신러닝 모델을 개발했다.

프로젝트의 큰 목표는 단순히 예측 모델을 만드는 것이 아니라, 제조공정 변수와 원자재 품질 변수가 평균 용출률에 어떤 영향을 줄 수 있는지 분석하고, 이를 데이터 기반으로 해석하는 것이었다.

평균 용출률은 의약품 품질과 관련된 중요한 특성이다. 따라서 이번 프로젝트는 일반적인 회귀 모델링 문제이면서도, 제조공정과 품질관리라는 도메인 지식이 함께 필요한 과제였다.

처음에는 데이터를 전처리하고 모델을 학습시키면 어느 정도 명확한 결과가 나올 것이라고 생각했다. 하지만 프로젝트를 진행하면서, 제조공정 데이터는 단순히 변수와 타깃의 관계만 보는 것으로는 충분하지 않다는 것을 알게 되었다.

제품 code 차이, batch 단위 데이터 구조, 원자재 품질 변수, 시계열 공정 변수, 결측치, 이상치, 데이터 누수 가능성까지 함께 고려해야 했다.

---

2. 프로젝트 목표

이번 프로젝트의 핵심 질문은 다음과 같았다.

첫째, 제조공정 변수와 원자재 품질 변수는 평균 용출률에 영향을 주는가?

둘째, 평균 용출률 예측에 중요한 변수는 무엇인가?

셋째, 공정 데이터와 원자재 데이터를 활용해 평균 용출률을 어느 정도 예측할 수 있는가?

이를 위해 Laboratory 데이터, Process 데이터, Normalization 데이터, 시계열 공정 데이터를 통합했고, batch-code 단위로 최종 모델링 데이터를 구성했다.

최종 타깃은 dissolution_av, 즉 평균 용출률로 설정했다.

---

3. 전처리 과정에서 배운 점

이번 프로젝트에서 가장 중요했던 단계 중 하나는 전처리였다.

데이터가 여러 파일로 나뉘어 있었기 때문에, 각 데이터를 batch와 code 기준으로 병합해야 했다. 특히 시계열 데이터는 그대로 모델에 넣을 수 없었기 때문에 batch 단위로 요약하는 과정이 필요했다.

시계열 데이터에서는 평균, 표준편차, 최소값, 최대값, CV, 변화율, 공정 시간, 폐기율과 같은 파생 변수를 생성했다. 이 과정에서 단순한 평균값뿐만 아니라 공정이 얼마나 안정적으로 유지되었는지를 나타내는 지표가 중요하다고 판단했다.

또한 데이터 누수를 방지하는 것도 중요한 문제였다. 용출률과 직접적으로 관련된 품질 결과 변수나 타깃 이후에 알 수 있는 변수들은 모델 입력에서 제외했다. 만약 이런 변수를 그대로 사용하면 모델 성능은 높게 나올 수 있지만, 실제 예측 문제에서는 의미 없는 결과가 되기 때문이다.

전처리를 진행하면서 느낀 점은, 전처리는 단순히 결측치를 채우고 데이터를 정리하는 작업이 아니라는 것이다.

전처리는 모델이 어떤 정보를 학습할 수 있고, 어떤 정보는 학습하면 안 되는지를 결정하는 과정이었다.

---

4. EDA를 통해 잡은 분석 방향

EDA 단계에서는 평균 용출률과 여러 변수 사이의 관계를 확인했다.

처음에는 원자재 품질 변수나 공정 변수 중에서 평균 용출률과 강한 상관관계를 보이는 변수가 있을 것으로 기대했다. 하지만 실제로는 대부분의 단일 변수 상관관계가 크지 않았다.

이 결과를 보고 처음에는 모델링이 어려울 수 있겠다고 생각했다. 하지만 다시 생각해보면 제조공정에서는 하나의 변수만으로 품질이 결정되기보다는, 여러 변수들이 복합적으로 작용할 가능성이 크다.

예를 들어 원료의 입도, 수분, 충전량, 타정 속도, 배출력, 공정 안정성 등이 함께 작용해 최종 용출률에 영향을 줄 수 있다. 따라서 단순 상관분석만으로 변수의 중요성을 판단하기보다는, 머신러닝 모델과 변수 중요도 분석을 함께 활용하는 방향으로 프로젝트를 진행했다.

또한 제품 code별로 평균 용출률 수준이 다를 수 있기 때문에, 전체 데이터를 한 번에 해석할 때 주의가 필요했다. 특정 변수가 중요해 보이더라도 실제로는 제품 code 차이의 영향을 받은 결과일 수 있기 때문이다.

이 과정에서 EDA의 역할을 다시 생각하게 되었다.

EDA는 정답을 바로 찾는 단계가 아니라, 모델링 방향을 정하고 해석할 때 주의해야 할 부분을 발견하는 단계였다.

---

5. 모델링 과정

모델링에서는 여러 회귀 알고리즘을 비교했다.

LinearRegression, RandomForest, GradientBoosting, XGBoost, LightGBM, CatBoost 등을 활용했고, 성능 평가는 R², RMSE, MAE를 기준으로 진행했다.

처음에는 다양한 모델을 비교하면서 어떤 알고리즘이 가장 적합한지 확인했다. 선형 모델은 데이터의 복잡한 관계를 충분히 반영하지 못했고, 이상치의 영향도 크게 받았다. 반면 트리 기반 모델들은 비선형 관계와 변수 간 상호작용을 어느 정도 반영할 수 있어 더 안정적인 성능을 보였다.

또한 모델링 과정에서 여러 실험을 진행했다.

원본 데이터와 clipping 데이터의 성능을 비교했고, 중요 변수 개수에 따른 성능 변화도 확인했다. Top 10, Top 20, Top 30, Top 50, 전체 변수 사용 실험을 통해 너무 많은 변수를 사용하는 것이 항상 좋은 것은 아니라는 점을 확인했다.

최종적으로는 Top 20 Feature 기반 XGBoost 모델을 최종 모델로 선정했다. Hold-out Test에서 R²는 약 0.5276을 기록했고, 5-Fold Cross Validation에서도 비슷한 수준의 성능을 보여 특정 데이터 분할에만 의존하지 않는 비교적 안정적인 모델이라고 판단했다.

물론 R² 0.53 수준이 매우 높은 성능이라고 보기는 어렵다. 하지만 제조공정 데이터의 복잡성, 제한된 데이터 수, 측정되지 않은 변수의 가능성 등을 고려하면, 공정 변수와 원자재 품질 변수만으로 평균 용출률 변동의 일부를 설명했다는 점에서 의미가 있었다.

---

6. SHAP과 변수 해석

최종 모델을 단순히 성능 지표로만 평가하지 않고, SHAP 분석을 통해 어떤 변수가 예측에 영향을 주었는지도 확인했다.

SHAP 분석 결과에서는 배출력, 충전량, 타정 속도, 원료 입도와 관련된 변수들이 평균 용출률 예측에 중요한 변수로 나타났다.

이 결과는 도메인 관점에서도 어느 정도 해석이 가능했다.

배출력은 정제가 금형에서 배출될 때 필요한 힘과 관련된 변수로, 정제의 압축 상태나 마찰 특성과 연결될 수 있다. 충전량은 정제 중량과 밀도에 영향을 줄 수 있고, 타정 속도는 압축 시간과 공정 안정성에 영향을 줄 수 있다. 원료 입도는 혼합성, 압축성, 표면적과 관련되어 용출률에 영향을 줄 가능성이 있다.

즉, 최종 모델은 단순히 숫자를 예측하는 모델이 아니라, 원자재 특성과 제조공정 조건이 함께 평균 용출률에 영향을 줄 수 있다는 방향을 보여주었다.

이번 프로젝트에서 가장 중요했던 결론은 다음과 같다.

평균 용출률은 하나의 변수로 설명되기보다는, 원자재 품질과 제조공정 조건이 함께 영향을 미치는 품질 특성으로 해석할 수 있다.

---

7. 시각화와 발표 자료 정리

프로젝트 후반부에는 모델링 결과를 발표 자료로 정리하는 데 많은 시간을 사용했다.

단순히 성능 지표 표를 보여주는 것만으로는 프로젝트 흐름을 설명하기 어려웠다. 그래서 EDA, 모델링, 최종 해석이 자연스럽게 이어지도록 시각화 자료를 구성했다.

예를 들어 code별 평균 용출률 차이를 보여주는 그래프, 결측률 시각화, 주요 변수와 용출률 간의 관계, 모델별 성능 비교, feature 개수에 따른 성능 변화, clipping 전후 성능 변화, SHAP 변수 중요도 그래프 등을 정리했다.

이 과정에서 시각화의 목적을 많이 고민했다.

처음에는 가능한 많은 정보를 하나의 그래프에 담고 싶었지만, 그렇게 하면 오히려 핵심 메시지가 흐려질 수 있었다. 그래서 발표용 그래프는 “무엇을 보여주려는 그래프인지”를 기준으로 나누었다.

모델 성능 비교 그래프는 어떤 모델이 가장 안정적인지 보여주기 위한 것이고, SHAP 그래프는 어떤 변수가 예측에 영향을 주었는지 보여주기 위한 것이었다. 결측치 그래프는 데이터의 한계를 설명하기 위한 자료로 사용했다.

이번 프로젝트를 통해 시각화는 단순히 결과를 예쁘게 표현하는 것이 아니라, 분석 과정에서 내린 의사결정을 설명하는 도구라는 것을 배웠다.

---

8. 프로젝트를 진행하며 어려웠던 점

가장 어려웠던 점은 데이터의 한계를 해석하는 것이었다.

모델 성능이 R² 0.53 수준으로 나왔을 때, 처음에는 우리가 모델링을 잘못한 것인지 고민했다. 하지만 여러 모델과 전처리 방식을 비교하고, 교차검증 결과도 확인하면서 단순히 모델링 문제만은 아니라고 판단했다.

제조공정 품질 데이터는 본질적으로 복잡하다. 측정된 변수 외에도 작업 환경, 장비 상태, 원료 lot 차이, 미세한 공정 조건, 측정 오차 등 다양한 요인이 최종 품질에 영향을 줄 수 있다. 이런 요인들이 데이터에 충분히 포함되지 않았다면, 모델 성능에는 한계가 생길 수밖에 없다.

또한 단일 변수 상관관계가 약한 상황에서 결과를 어떻게 설명할지도 어려웠다. 상관관계가 낮다고 해서 변수가 의미 없다고 말할 수는 없고, 반대로 모델 중요도가 높다고 해서 인과관계가 있다고 단정할 수도 없다.

그래서 최종 발표에서는 “이 변수들이 용출률을 결정한다”라고 단정하기보다는, “모델이 평균 용출률 예측 과정에서 중요하게 활용한 변수이며, 제조공정 관점에서 해석 가능한 변수들이다”라고 표현하는 방향으로 정리했다.

---

9. 프로젝트를 통해 배운 점

이번 프로젝트를 통해 가장 크게 배운 것은 머신러닝 프로젝트에서 중요한 것은 모델 성능만이 아니라는 점이다.

처음에는 높은 R²를 얻는 것이 가장 중요하다고 생각했다. 하지만 프로젝트를 진행하면서, 실제 분석 프로젝트에서는 다음과 같은 질문에 답할 수 있어야 한다는 것을 알게 되었다.

이 데이터는 어떤 구조를 가지고 있는가?

타깃과 입력 변수 사이에 데이터 누수는 없는가?

모델이 학습한 패턴은 도메인적으로 해석 가능한가?

성능이 낮다면 모델 문제인가, 데이터 한계인가?

결과를 발표 자료에서 어떻게 설득력 있게 보여줄 것인가?

이 질문들에 답하는 과정이 단순히 코드를 작성하는 것보다 훨씬 어려웠고, 동시에 많이 배운 부분이었다.

이번 프로젝트에서 배운 내용을 정리하면 다음과 같다.

첫째, 전처리는 모델 성능을 위한 준비 작업이 아니라 분석의 방향을 결정하는 핵심 과정이다.

둘째, EDA는 단순히 그래프를 그리는 단계가 아니라 모델링 가설을 세우는 단계이다.

셋째, 머신러닝 모델은 성능 지표뿐만 아니라 해석 가능성도 함께 고려해야 한다.

넷째, 도메인 지식과 통계적 사고가 있어야 모델링 결과를 설득력 있게 설명할 수 있다.

다섯째, 시각화는 결과를 꾸미는 작업이 아니라 분석의 흐름과 의사결정을 전달하는 도구이다.

---

10. 프로젝트를 마무리하며

이번 프로젝트는 쉽지 않았다. 데이터 전처리부터 EDA, 모델링, 시각화, 논문 조사, 발표 자료 구성까지 해야 할 일이 많았다. 중간중간 방향을 다시 잡아야 했고, 예상보다 성능이 잘 나오지 않아 고민한 순간도 많았다.

하지만 프로젝트를 마무리하면서 느낀 것은, 오히려 이런 고민들이 실제 데이터 분석 프로젝트에 가까웠다는 점이다.

현실의 데이터는 깔끔하지 않고, 변수 간 관계도 명확하지 않으며, 모델 성능도 항상 높게 나오지 않는다. 중요한 것은 그 상황에서 데이터를 최대한 이해하고, 합리적인 의사결정을 내리고, 결과를 정직하게 해석하는 것이다.

최종 모델의 R²는 약 0.53으로 완벽한 예측 모델이라고 말하기는 어렵다. 하지만 이번 프로젝트를 통해 평균 용출률이 원자재 품질과 제조공정 조건의 영향을 함께 받는다는 점을 데이터 기반으로 확인할 수 있었다. 또한 XGBoost와 SHAP 분석을 통해 중요한 변수들을 도출하고, 이를 제조공정 관점에서 해석하는 경험을 할 수 있었다.

이번 프로젝트는 나에게 단순한 머신러닝 실습이 아니라,
데이터 전처리, 통계적 해석, 도메인 이해, 모델링, 시각화, 발표 설득력을 모두 연결해야 하는 종합적인 분석 경험이었다.

앞으로 다른 데이터 분석 프로젝트를 진행할 때도 이번 경험을 바탕으로, 단순히 모델을 만드는 것에서 끝나지 않고 데이터의 의미와 결과의 해석까지 함께 고민하는 분석을 하고 싶다.