[내일배움캠프] QAQC_6기 팀 프로젝트 데이터 전처리와... 와...

오늘으 ㅣ TIL은요... 음 팀 프로젝트를 진행한 흐름대로 가보겠습니다.

어제도 메인 주제였던....! 전처리에 대한 논의를 이어서 진행했습니다

 

저희가 고려했던 전처리 방식은 크게 세가지가 있습니다.

 

1. 건강수치 기준값 이상 제외
2. 모든 변수에 대해 상위 ?프로 제외
3. 왜도 첨도 확인 후 정규성을 벗어나는 변수만 상위 ?프로 제외

각각 장단점이 있기에 저희가 납득할 수 있는 방식을 찾으며 논의를 거치는 시간이 꽤나 길었는데요 

결론은 전처리를 복잡하게 이래저래 하는 것 보다 왜 그런 방식을 선택했는지에 집중해보도록하고 

 

저희는 기존에 선택했던 의학적 지식?을 기반으로 한 이상치 판별 기준을 과감하게 버렸습니다..

근데 아까우니까 일단 남기긴 남겨ㅠ

import pandas as pd

df = pd.read_csv('train_dataset.csv')

print('원본 데이터 크기')
print(df.shape)
print()

remove_mask = (
    (df['fasting blood sugar'] > 250) |
    (df['fasting blood sugar'] < 50) |
    (df['LDL'] > 190) |
    (df['serum creatinine'] > 1.4) |
    (df['serum creatinine'] < 0.5) |
    (df['AST'] > 40) |
    (df['ALT'] > 40) |
    (df['Gtp'] > 49)
)

removed_df = df.loc[remove_mask].copy()
filtered_df = df.loc[~remove_mask].copy()

print('원본 데이터 수')
print(len(df))

print('\n삭제된 데이터 수')
print(len(removed_df))

print('\n전처리 후 데이터 수')
print(len(filtered_df))

print('\n삭제 비율(%)')
print(
    round(
        len(removed_df) / len(df) * 100,
        2
    )
)

print('\n전처리 데이터 상위 5행')
print(filtered_df.head())

print('\n전처리 데이터 정보')
print(filtered_df.info())

 

마지막으로 선택한 방법은 3sigma. 이유는 발표에서 들어보시죠 ㅎ

 

추가로 저희가 진행했던건 위험군을 선정해보고 흡연자/비흡연자 간 위험군 비율에서 차이가 있나를 봤는데 

사실 이게 or조건으로 지정한거라 유의미한 결과를 내기는 어렵다고 판단하고

내일 추가로! 흡연이 영향을 끼치는 top3 요인을 and조건으로 만족하는 위험군을 뽑아보고 추가로 판단해보기로 했습니다.

 

이건 제가 시험삼아 위험군 수치 뽑아본건데 당연 신뢰할만한 결과는 아니고 그냥 했으니까 아까워서.... ㅎㅎ

 

다음은 잠시 쉬는 시간에 장난삼아 꺼내본 이야기인데요

20대 흡연자와 40대 비흡연자의 건강 상태는 어떨까?!

정말 반전으로 40대 비흡연자의 건강 상태가 더 좋게 나타난다면 이것도 재밌겠다! 이런 실없는 소리를 하며

실제 흡연자 비율을 뽑아봤습니다!

 

그 결과는 놀라웠음.

 

저희는 당연히 20대 흡연자가 비율이 높을 거라고 생각했는데 오잉? 

40대가 가장 많았어요. 그치만 이거시 바로 데이터 분석의 오류.

 

이를 흡연률 비교에서 볼 수 있습니다.

 

전의 그래프와 차이가 보이심? 

저희가 가진 데이터의 표본중에 40대가 많았던 것이지 (실제로 40대 인구가 많은 영향도 있을 것으로 추정?ㅎ)

실제 나이대별 흡연률은 20대가 가장 높았습니다!

 

역시 이래서 데이터 분석이 어렵단 말이지요...?

 

마지막으로는 원래 오늘 예정되어있던 EDA 가 아니라

저희 목표를 위한 추가 자료조사가 이어졌습니다.

 

오늘 전처리 과정에 대해 마무리하며 발표 방향을 보다 정확하게 잡기 위해

어떤 시각화 자료를 쓸 것인지 구성은 어떻게 할 것인지에 대해 이야기를 많이 나누어 보았는데요

 

저희가 목표로 잡은 흡연은 건강에 해로울까? 를 알아보기 위해서는 조금의 지식이 필요했습니다.

 

데이터상 흡연이 영향을 미친 요인들이 실제로도 상관이 있는 것들인지 알아보고자 

저희가 데이터에서 발견한 유의미한 변화를 가지는 요소들을 뽑아서 자료 조사를 진행했습니다.

 

systolic, relaxation, fasting blood sugar, triglyceride, LDL, AST, ALT, GTP

 

먼저 혈압은 흡연이 직후에는 혈압에 조금의 상승을 가져올 순 있지만 평상시 혈압에는 큰 연관성이 없습니다.

다만 흡연이 위험한 것은 혈관을 지속적으로 손상시켜서 심혈관질환의 위험을 높이기 때문입니다.

 

혈당은 연구에 따라 결론이 많이 다르지만 높인다고 볼 수 있을 것 같다는 결론을 내렸습니다. 흡연이 혈당 조절을 힘들게 하고 장기적으로 높인다 정도로요.

 

또한 중성지방 수치 증가와 HDL 감소에는 관련되어 있지만 LDL 증가에 대한 영향은 없다고 생각했습니다.

 

마지막으로 AST, ALT 간수치들은 연구마다 많이 달랐어요. 유의미한 차이를 관찰할 수는 있지만 이유가 흡연이다 라고 단정짓기는 힘든 것이 음주나 생활습관, 비만도 등이 보다 유의미한 영향을 많이 미치기 때문입니다. 그러나 GTP는 흡연과 유의미한 연관성이 있다고 판단했는데요, 간세포 내 효소에 영향을 주어 γ-GTP 수치를 직접적으로 높인다고 합니다.

 

마지막으로는 내일 추가로 진행할 내용들을 좀 다루어 보았습니다.

 

위험군을 어떻게 처리할 것인지,,

흡연과 비만이 연관이 있는지, 있다면 저희가 가진 데이터인 허리둘레와 연관시킬 수 있을지

 

그리고 내일은 결과 보고서 초안을 작성할 예정이오니 저는 오늘 이만 여기까쥐..