[내일배움캠프] QAQC_6기 인사이트 도출의 늪과 EDA. 니 뭔데,,? (어제랑 다른거임 암튼 다름)

오늘은 매우 바쁘고 정신없던 하루..... 코드 하루종일 보는 노가다부터 시작해서 시각화 피드백을 거쳐 지고쿠의 인사이트 도출까쥐.......

기획서 단계에서 상상만 하던 데이터들을 실제 결과물로 가공하고, 팀원들이랑 머리 맞대며 발표 전략까지 세우느라 뇌 용량이 터질 것 같았던 하드코어한 기록들을 남겨봄.

 

데이터 전처리 방식 찐막 결정 & EDA 지옥

그동안 우리 조의 가장 큰 논쟁이었던 '이상치 처리 방식'을 드디어 최종(최최종 찐찐막..) 확정 지었다!

의학적 지식 기반의 기준치를 세워 필터링을 하려다가 데이터 왜곡 위험이 크다는 결론을 내리고, '집단별 3시그마(3σ) 방식'으로 노선을 틀었음. 흡연자와 비흡연자의 데이터 분포가 원체 다르다 보니 집단별로 쪼개서 돌리는 게 정석이더라고요.. (물론 며칠 동안 고생해서 짠 코드가 아까워서 주석으로 남겨는 둠... 내 미련 어쩔 거야ㅠ)

이제 이유만 야무지게 설명하면 돼요. 네. 암튼 맞음.

이렇게 이쁘게 깎아낸 최종 데이터셋을 가지고 SWEETVIZ와 다양한 라이브러리를 써서 본격적인 EDA(탐색적 데이터 분석)를 했지요 (물론 담당은 다른 팀원이라 피드백과 고나리질을 위주로 하였어요 ㅎ)

 

시각화 자료 피드백 & 건강지표별 인사이트 정리

EDA를 진행하면서 동시에 2차 멘붕이 왔던 구간은 역시나 '시각화 피드백'이었음. 변수가 워낙 많다 보니, 이걸 도대체 어떤 그래프로 그려야 청중들 눈에 한눈에 꽂힐지 감이 안 잡혔거든요......

Heatmap을 그릴지, Bar chart를 쪼갤지 붙잡고 무한 피드백 굴레에 빠졌었어요... 너무 다 바바바바바 그래프여서 고민도 많이 했습니다ㅠ

중간에 "40대 흡연자 수가 가장 많다"는 단순 시각화 결과를 보고 에? 했다가, 표본 문제인 걸 캐치하고 집단별 비율(흡연율)로 다시 계산해서 20대가 제일 높다는 오류를 잡아내기도 함. 역시 데이터는 겉만 보면 안 됨!

길고 길었던 시각화 타협 끝에, 드디어 우리 프로젝트의 핵심인 지표별 인사이트를 싹 정리했습니다.

 

흡연이 직격타를 날리는 대사 지표: 예상대로 중성지방 수치 증가와 GTP(간 기능 효소) 수치 상승에는 흡연이 아주 강력하고 직설적인 악영향을 미치고 있었음. 데이터로 확인하니까 담배는 역시 만악.....

 

흡연보다 무서운 나이와 비만(BMI): 반전이었던 건 혈압, 혈당, 일반 간수치(AST, ALT) 같은 것들은 흡연 여부보다 '연령'이나 'BMI(비만도)'의 영향력이 압도적으로 컸다는 사실!

담배 안 피워도 살찌고 나이 들면 건강지표 작살나는 건 똑같다(오히려 더 치명적이다)는 다변량 관점의 깊이 있는 결론을 얻어냈어요.

 

결과 보고서 틀 짜기 & 발표 계획 구성 (스토리라인 구축)

인사이트 도출이 끝나자마자 바로 결과 보고서의 뼈대를 구축하고 발표 계획 구성에 들어갔습니다.

아무리 좋은 인사이트를 뽑았어도 보고서 흐름이 엉망이면 안되니까....?

당연히 흡연은 몸에 나빠요"로 끝내지 않고,

가설 설정 → 집단별 전처리 → 변수별 독립적/복합적 영향력 분석 → 다변량 관점의 최종 결론

으로 이어지는 스토리라인을 짰습니다. 

 

발표할 때 청중들의 시선이 분산되지 않도록 복잡한 지표들을 어떻게 그룹핑해서 보여줄지 아주 야무지게 계획을 세워둠!

 

오늘 하루를 마무리하며...........

 

분명 아침에 매니저님이랑 튜터님 면담 가질 때만 해도 내가 하는 질문이 너무 정리되지 않은 날것이라 자책을 많이 했었는데...

팀원들이랑 하루 종일 떠들고 데이터 들이받다 보니까 졸릴 틈도 없이 결과물이 아주 잘 나오고 있는 것 같습니다!!!

 

단순 평균 비교에서 끝나지 않고 연령, BMI, 흡연 다변량 분석까지 확장한 우리 조 진짜 야무지고 칭찬해... 😭

 

이제 이걸 바탕으로 야무진 발표 만들어볼게요?

 

내일 봐요 !