[내일배움캠프] 모델링 결과 시각화 및 도메인, 통계 근거 보완

1. 오늘의 학습 목표

오늘은 제약 제조공정 데이터를 활용한 심화 프로젝트에서, 단순히 모델링 결과를 정리하는 것을 넘어 분석 결과를 어떻게 설득력 있게 보여줄 것인지에 집중했다.

기존에는 전처리와 모델 성능 비교에 초점을 맞췄다면, 오늘은 발표와 보고서 완성도를 높이기 위해 다음 세 가지를 중점적으로 진행했다.

첫째, 모델링 결과를 한눈에 이해할 수 있도록 시각화 자료를 개선했다.
둘째, 튜터님 피드백을 반영해 관련 논문과 신뢰할 수 있는 자료를 조사했다.
셋째, 프로젝트 해석에 부족했던 도메인 지식과 통계적 설명을 보완했다.

이번 프로젝트의 주제는 제조 공정 변수와 평균 용출률의 관계를 분석하고, 이를 기반으로 평균 용출률을 예측하는 모델을 개발하는 것이다. 따라서 단순히 “모델 성능이 좋다”라고 말하는 것보다, 왜 특정 변수가 중요하게 나왔는지, 제조공정 관점에서 어떻게 해석할 수 있는지를 설명하는 것이 중요했다.

---

2. 시각화 자료 생성 과정

오늘 가장 많이 다룬 부분은 모델링 결과를 발표용 그래프로 정리하는 작업이었다.

모델링에서는 LinearRegression, RandomForest, GradientBoosting, XGBoost, LightGBM 등을 비교하는 구조를 잡았다. 다만 현재 실행 환경에서는 xgboost, lightgbm 패키지가 설치되어 있지 않아 실제 코드에서는 LinearRegression, RandomForest, GradientBoosting만 먼저 등록되는 문제가 있었다.

그래서 코드상에서 사용 가능한 모델과 설치가 필요한 모델을 구분하고, 결과가 없는 알고리즘은 에러가 나지 않도록 처리하는 방향으로 수정했다. 즉, 그래프에는 가능한 한 5개 알고리즘을 모두 포함하되, 실제 결과가 없는 모델은 누락 여부를 출력하도록 만들었다.

시각화에서는 특히 다음 부분을 신경 썼다.

모델 4번에서는 선택 변수 수에 따른 알고리즘별 성능 변화를 확인했다. 그런데 RandomForest와 GradientBoosting의 성능이 비슷하다 보니 하나의 그래프에 모두 넣으면 선이 겹쳐 잘 보이지 않았다. 그래서 전체 모델을 한 번에 보여주는 그래프와, 트리 기반 모델만 따로 확대해서 보여주는 그래프를 나누는 방식이 더 적절하다고 판단했다.

모델 5번에서는 원본 데이터와 clipping 적용 후 성능 변화를 비교했다. 이때 R², RMSE, MAE 변화량을 각각 subplot으로 나누어 표시했다. LinearRegression은 clipping 전후 변화량이 매우 커서 다른 모델들의 변화가 잘 보이지 않는 문제가 있었기 때문에, 실제 값은 화살표나 주석으로 따로 표시하는 방식을 사용했다.

이 과정에서 배운 점은 시각화는 단순히 그래프를 예쁘게 만드는 작업이 아니라는 것이다.
어떤 비교를 보여주고 싶은지에 따라 그래프의 구조 자체를 바꿔야 한다.

예를 들어 모델별 성능을 비교하고 싶을 때는 barplot이 적절하고, 선택 변수 수에 따른 성능 변화를 보고 싶을 때는 lineplot이 적절하다. 또 모델 간 차이가 너무 작거나 일부 모델만 값이 극단적으로 크면, 같은 축에 모두 넣는 것이 오히려 해석을 방해할 수 있다.

---

3. 한글 폰트 문제 해결

시각화 자료를 만들면서 함께 해결한 문제는 한글 폰트 깨짐이었다.

Matplotlib이나 Seaborn으로 그래프를 만들 때 제목, 축 이름, 범례에 한글을 넣으면 글자가 깨지거나 네모로 표시되는 문제가 발생할 수 있다. 발표 자료에서는 변수명이나 설명을 한국어로 작성해야 하기 때문에, 이 문제를 해결하는 것이 중요했다.

오늘은 한글 폰트를 설정하고, 그래프에서 마이너스 기호가 깨지지 않도록 옵션을 조정하는 방향으로 문제를 해결했다. 예를 들어 Windows 환경에서는 Malgun Gothic을 사용할 수 있고, Colab이나 다른 환경에서는 NanumGothic 같은 폰트를 설치해 사용할 수 있다.

이 문제를 해결하면서 느낀 점은, 분석 결과를 만드는 것만큼 결과를 읽을 수 있게 만드는 환경 설정도 중요하다는 것이다. 아무리 좋은 그래프를 만들어도 글자가 깨지면 발표 자료로 사용할 수 없기 때문이다.

---

4. 논문 조사 방향 설정

튜터님 피드백 중 하나는 프로젝트에 관련 논문이나 선행 연구가 부족하다는 점이었다. 처음에는 “논문을 많이 찾아야 하나?”라고 생각했지만, 오늘 정리하면서 논문의 역할을 다시 생각하게 되었다.

이번 프로젝트에서 논문은 분석 결과를 대신 증명해주는 자료가 아니라, 우리가 왜 이런 변수들을 중요하게 해석하는지 뒷받침하는 근거로 활용해야 한다.

그래서 논문 조사는 다음 방향으로 정리했다.

첫째, QbD 관점에서 원자재 특성과 공정 조건이 최종 품질 특성에 영향을 줄 수 있다는 자료를 찾는다. QbD는 의약품 개발과 제조에서 품질을 사후 검사로만 확인하는 것이 아니라, 원자재 특성, 공정 변수, 품질 특성 간의 관계를 이해하고 관리하는 접근이다.

둘째, 용출률 예측과 관련된 연구를 찾는다. 우리 프로젝트의 타깃은 평균 용출률이기 때문에, 용출률이 어떤 요인에 의해 영향을 받을 수 있는지 설명하는 자료가 필요했다.

셋째, 입도, 수분, 충전량, 압축, 배출력 같은 제조공정 관련 변수가 정제 품질에 영향을 줄 수 있다는 근거를 찾는다. 실제 모델에서도 batch_size_tablets, normalisation_factor, 충전량 관련 변수, API 입도, 원료 수분 등이 중요 변수로 나타났기 때문에, 이 변수들을 도메인적으로 해석할 수 있는 근거가 필요했다.

넷째, XGBoost나 SHAP을 활용한 품질 예측 연구를 참고한다. 최종 모델 후보에서 XGBoost의 성능이 좋았고, SHAP을 통해 변수 중요도를 해석했기 때문에, 머신러닝 모델 해석 관점에서도 선행 연구를 참고할 수 있다고 판단했다.

결국 논문 조사의 목적은 “우리 결과가 논문과 완전히 일치한다”라고 말하는 것이 아니라,
우리 분석 결과가 제약 제조공정과 품질관리 관점에서 해석 가능한 방향이라는 점을 보완하는 것이었다.

---

5. 도메인 지식 보완

오늘 가장 중요하게 느낀 부분은 도메인 지식이었다.

튜터님 피드백에서도 도메인과 통계 관련 설명이 부족하다는 이야기가 있었고, 실제로 모델링 결과를 해석하다 보니 단순히 변수 중요도만 나열해서는 설득력이 부족하다는 것을 느꼈다.

예를 들어 최종 모델에서 batch_size_tablets, normalisation_factor, ts_tbl_fill_mean, smcc_ps09, api_ps05, api_water 같은 변수가 중요하게 나타났다고 해도, 이 변수들이 왜 중요한지 설명하지 않으면 분석 결과가 단순한 숫자에 그치게 된다.

그래서 오늘은 각 변수를 제조공정 관점에서 해석하는 방향을 정리했다.

batch_size_tablets는 생산 규모와 관련된 변수로 볼 수 있다. 생산 규모가 달라지면 공정 조건이나 배치 간 차이가 발생할 수 있고, 이는 최종 품질 특성에 영향을 줄 가능성이 있다.

normalisation_factor는 제품 code 또는 기준 용출률 차이를 보정하는 변수로 해석할 수 있다. 제품마다 기본적인 용출률 수준이 다를 수 있기 때문에, 이 차이를 고려하지 않으면 공정 변수의 영향을 과대해석할 위험이 있다.

ts_tbl_fill_mean은 타정 공정에서 충전량과 관련된 변수로 볼 수 있다. 충전량은 정제의 무게나 밀도, 압축 상태와 연결될 수 있고, 결과적으로 용출률에도 영향을 줄 수 있다.

api_ps05, smcc_ps09 같은 입도 관련 변수는 원자재 품질 특성을 나타낸다. 입도는 혼합성, 압축성, 표면적 등과 관련될 수 있으므로 용출률 해석에서 중요한 도메인 변수로 볼 수 있다.

api_water 같은 수분 관련 변수도 중요하다. 수분은 원료의 흐름성, 압축성, 정제 형성 과정에 영향을 줄 수 있기 때문에 제조공정 품질 관리에서 의미 있는 변수로 해석할 수 있다.

이처럼 오늘은 모델 결과를 단순히 “중요 변수 TOP 20”으로 정리하는 것이 아니라, 각 변수가 제조공정에서 어떤 의미를 갖는지 연결하려고 했다.

---

6. 통계적 해석 보완

통계적인 부분에서는 상관관계와 모델 중요도를 구분하는 것이 중요했다.

EDA 단계에서는 평균 용출률과 여러 변수 간 상관관계를 확인했다. 하지만 상관계수가 낮다고 해서 모델링에서 의미가 없다고 단정할 수는 없다. 특히 제조공정 데이터에서는 변수들이 서로 복합적으로 작용할 가능성이 크기 때문에, 단일 변수와 타깃 간의 단순 상관만으로 전체 관계를 설명하기 어렵다.

또한 제품 code에 따라 평균 용출률 수준이 다를 수 있기 때문에, 전체 데이터를 한 번에 보면 특정 변수와 용출률 사이에 관계가 있는 것처럼 보이는 착시가 생길 수 있다. 따라서 code별 차이를 고려한 해석이 필요했다.

모델링에서는 R², RMSE, MAE를 함께 비교했다.

R²는 모델이 타깃의 변동성을 얼마나 설명하는지 보여주는 지표이고, RMSE와 MAE는 실제 예측 오차의 크기를 보여준다. R²만 높다고 해서 반드시 좋은 모델이라고 볼 수 없고, RMSE와 MAE까지 함께 확인해야 실제 예측 성능을 더 안정적으로 판단할 수 있다.

또한 clipping 실험을 통해 이상치가 모델에 미치는 영향도 확인했다. LinearRegression은 clipping 후 성능이 크게 개선되었지만, 트리 기반 모델에서는 성능 개선이 크지 않거나 오히려 소폭 하락했다. 이를 통해 이상치 처리는 무조건 적용하는 것이 아니라, 모델 특성과 데이터 구조에 따라 판단해야 한다는 점을 확인했다.

---

7. 오늘의 의사결정 과정

오늘의 핵심 의사결정은 크게 세 가지였다.

첫 번째는 시각화 자료를 “모든 정보를 한 번에 보여주는 그래프”가 아니라, “비교 목적이 명확한 그래프”로 나누기로 한 것이다. 모델 간 성능 비교, 선택 변수 수에 따른 변화, clipping 전후 변화는 각각 전달하고자 하는 메시지가 다르기 때문에 그래프도 분리하는 것이 더 적절했다.

두 번째는 논문을 단순히 많이 찾는 것이 아니라, 프로젝트 해석에 직접 연결되는 자료 위주로 찾기로 한 것이다. 특히 QbD, 용출률 예측, 원자재 입도와 수분, 충전·압축 공정, XGBoost와 SHAP 해석 관련 자료가 프로젝트에 가장 잘 맞는 방향이라고 판단했다.

세 번째는 최종 보고서에서 모델 성능만 강조하지 않고, 도메인 해석과 통계적 해석을 함께 넣기로 한 것이다. 튜터님 피드백처럼 도메인 설명이 부족하면 분석 결과가 설득력을 얻기 어렵다. 따라서 중요 변수들이 제조공정에서 어떤 의미를 가지는지, 상관관계와 모델 중요도를 어떻게 구분해야 하는지 함께 설명하는 방향으로 수정했다.

---

8. 어려웠던 점

오늘 어려웠던 점은 모델링 결과를 발표 자료로 변환하는 과정이었다.

코드상으로는 성능 지표를 계산하고 그래프를 만들 수 있지만, 발표 자료에서는 청중이 한눈에 이해할 수 있어야 한다. 특히 모델이 여러 개이고 지표도 R², RMSE, MAE로 나뉘다 보니, 그래프를 잘못 만들면 오히려 더 복잡해 보였다.

또한 논문 조사도 생각보다 어려웠다. 제약 제조공정과 평균 용출률, 머신러닝 예측을 모두 직접적으로 다루는 논문을 찾기는 쉽지 않았다. 그래서 너무 완벽하게 일치하는 논문만 찾기보다, 프로젝트의 각 해석 포인트를 뒷받침할 수 있는 자료를 나누어 찾는 방식이 더 현실적이라고 판단했다.

한글 폰트 문제도 사소해 보이지만 실제 발표 자료를 만드는 과정에서는 중요한 문제였다. 분석 환경에서는 잘 보이던 그래프가 저장하거나 공유할 때 깨질 수 있기 때문에, 재현 가능한 시각화 환경을 만드는 것도 프로젝트 완성도에 포함된다는 점을 배웠다.

---

9. 느낀 점

오늘 학습을 통해 프로젝트의 완성도는 모델 성능만으로 결정되지 않는다는 것을 느꼈다.

모델 성능이 아무리 좋아도 왜 그런 결과가 나왔는지 설명하지 못하면 설득력이 부족하다. 반대로 성능이 완벽하지 않더라도, 데이터 구조와 도메인 지식을 바탕으로 결과를 합리적으로 해석하면 프로젝트의 의미를 더 잘 전달할 수 있다.

특히 이번 프로젝트에서는 제조공정 데이터라는 특성상 원자재 품질, 공정 안정성, 제품 code, 용출률이 서로 복합적으로 연결되어 있었다. 따라서 단순히 상관계수나 변수 중요도만 보는 것이 아니라, 제약 제조공정의 흐름 안에서 결과를 해석해야 했다.

오늘 가장 크게 배운 점은 다음과 같다.

시각화는 결과를 꾸미는 작업이 아니라, 의사결정을 설명하는 도구이다.
논문 조사는 분석 결과를 대신 증명하는 것이 아니라, 해석의 근거를 보완하는 과정이다.
도메인 지식과 통계적 해석이 함께 들어가야 머신러닝 프로젝트가 설득력을 가진다.

---

10. 다음 학습 계획

다음 단계에서는 최종 보고서와 발표 자료에 들어갈 그래프를 정리하고, 각 그래프마다 전달할 핵심 메시지를 붙일 예정이다.

또한 중요 변수 TOP 20과 SHAP 결과를 바탕으로, 어떤 변수가 평균 용출률 예측에 기여했는지 도메인 관점에서 더 자세히 설명할 계획이다.

마지막으로 논문 조사 내용을 단순 참고자료로 끝내지 않고, 보고서의 배경 설명과 결과 해석 부분에 자연스럽게 연결할 예정이다. 이를 통해 프로젝트가 단순한 모델링 실습이 아니라, 실제 제조공정 품질 분석 문제를 데이터 기반으로 접근한 사례처럼 보이도록 완성하고 싶다.