[내일배움캠프] 데이터 분석 심화 프로젝트 기획 및 삽질 탈출기 XD

1. 오늘의 깨달음: 데이터 분석의 첫 단추는 '구분자' 확인부터

Figshare에서 다운로드한 Process.csv 파일이 웹 화면과 엑셀에서 다르게 나타나서 한참을 헤맸다,,

결론은 둘 다 완전히 같은 파일이 맞았다. 노션에서 받은 이 파일은 데이터 칸을 나눌 때 쉼표(,)가 아니라 세미콜론(;)을 사용한 녀석이었다. 웹사이트는 자체 미리보기로 이걸 자동 파싱해서 예쁘게 표로 보여준 거고, 내 엑셀이나 코랩 기본 설정은 쉼표만 찾다 보니 A열에 데이터가 통째로 뭉뚱그려져서 유령 컬럼이 무더기로 생겼던 것이다.

코랩에서 텍스트가 다 쪼개져서 KeyError가 났을 때, 원본 그대로 올리고 pd.read_csv('Process.csv', sep=';') 옵션 하나만 주니까 깔끔하게 해결됐다. 세미콜론,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

앞으론 날것 그대로 파이썬에 던지고 옵션을 주자. 손으로 미리 쪼개려다간 데이터 다 꼬인다.

 

**온라인 엑셀 편집기에서 다운로드할 때 일반 .csv와 CSV UTF-8 중 고민했는데, 한글이나 특수문자가 섞여 있으면 무조건 글로벌 표준인 CSV UTF-8로 받아야 글자 깨짐 외계어를 막을 수 있다고 함

 

2. 프로젝트 일정 짜기와 시간 분배의 기술

이전 프로젝트 때 EDA랑 전처리에만 3일 넘게 쓰다가 마감 늪에 빠져 고생한 적이 있다. 이번엔 똑같은 실수를 반복하지 않기 위해 일정을 타이트하게 재조정했다.

가장 중요한 건 Day 2(월요일) 밤 12시까지 전처리 코드를 무조건 완료하는 것.

데이터 완벽하게 만든답시고 화요일까지 붙잡고 있으면 모델 성능 안 나올 때 대처할 시간이 아예 사라진다. 미진한 부분은 차라리 한계점으로 보고서에 솔직하게 적는 게 분석가로서 훨씬 좋은 것 아닐까...?

 

3. 데이터 도메인 해석 및 시각화 로드맵

Process.csv에서 품질 데이터가 누락된 18개 배치(1.7%)를 확인했다. 이 정도 소량의 결측치는 억지로 채우기보다 행 자체를 삭제(dropna)하는 게 모델 학습 왜곡을 막는 정석이다.

 

1차로 돌려본 상관관계 분석에서 의미 있는 것들을 골라보았다

• 용출률(Drug release average (%)): 타정 속도가 0이었던 정지 시간(tbl_speed_0_duration)과 양의 상관관계(0.27)가 보였다. 설비가 멈춘 시간이 정제의 밀도나 경도에 영향을 줬을 확률이 크다.
• 총 불순물(Total impurities): 제품 code와 상관관계(0.52)가 매우 높게 나왔다. 이건 특정 제품군 원료나 배합비 자체에 원인이 있을 수 있다는 명확한 증거다.

Drug release min (%)이나 Impurity L, O 같은 하위 지표들은 타겟 변수와 종속 관계라 머신러닝 학습 때 반드시 제외해야 데이터 누수(Data Leakage, 치팅)를 막을 수 있다.

노션 기획서에 넣을 시각화 로드맵도 확정했다. 상관관계 히트맵을 시작으로 주말 가동 여부 박스플롯, 최종 모델의 실제값vs예측값 산점도, 변수 중요도 바 차트까지 스토리라인에 맞춰 착착 뽑아낼 예정이다.

 

일단은 여기까지 하고 멋진 주말을 보내고 말테야

물론 침대에서요 ^ㅎ^