ineed-coffee / vote_prediction_from_machiavellism_test

:memo:월간 데이콘 8 : 심리 성향 예측 AI 경진대회:speech_balloon:

Hi there

---

My name is Lee Dong Jae ,

and I'm currently intersted in data science, ML , DL

☕ I'm learning hard to become data scientist , ML&DL engineer

☕ I majored in Electronic Engineering and got interested in machine/deep learning while working on my Bachelor's thesis

• Application of Machine Learning for OFDM signal detection

☕ Here's a list of projects I participated in

• 🎁 세상을 밝혀주는 따듯한 서비스 시선 (복합 인공지능 서비스) seesun(complex AI service)

• 👍 미국 대선 관련 뉴스 기사 & 트위터 & 토론 텍스트 마이닝을 통한 감성 분석 및 예측👎text_mining_for_US_election

• 🚗 오산시 어린이 교통사고 위험구역 도출 과제 공모전 Selecting new kids-safe zone for Osan city

• 📝 월간 데이콘 8 : 심리 성향 예측 AI 경진대회 vote_prediction_from_Machiavellism_test

• 😷 Facial mask-Area-Detection 을 활용한 올바른 마스크 착용 여부 판단 covid19_mask_detection

---

Contact

vote_prediction_from_machiavellism_test's Issues

10/17 ~ 10/18

회의 정리 및 TODO.

NA

• education (노용철)
• engnat (홍세준)
• married (홍세준 or 이동재)
• hand (정성훈 , 다른 방법으로 작성 중)
• urban (이동재)

TP

• 정확한 질문 다시 올림
• TIPI 를 계산하는 정확한 방법과 성별,나이에 따라 어떻게 분류하는지 -> https://gosling.psy.utexas.edu/scales-weve-developed/ten-item-personality-measure-tipi/
• 위 페이지의 Male norms , Female norms 에 명시되어 있는 기준치를 그대로 쓸 수는 없지만(외부데이터 사용) 스코어 계산 후 나이, 성별로 그룹핑하여 커스텀 레이블링은 가능하다. (0 or 7 의 결측 질문을 확실히 답변 받은 뒤에)
• 0을 무응답 처리해야된다는 답변을 받음

답변 시간 (Answer time data)

• 이분화 후 , 다른 칼럼들과 연관조사(노용철)
• 마키아 스코어(뒤집을 질문 뒤집고 평균) 와 상관계수
• 순서형 데이터와 할때는 레이블링 후 스피어만 계수로
• 명목형 데이터와 할때는 그룹핑으로 직접 확인

NA 통합파일

• hand , married 칼럼 처리 파일이 올라오는대로 (이동재)
• 파일에 따라 변수 통일과 무분별한 복사본 방지를 위해 코드 수정이 있는 파일이 있을 수 있음

PoC

• voted 관련 PoC 1번 (정성훈)
• voted 관련 PoC 4번 (이동재)

---

+ 데이터 다룰 때 index 컬럼 신경 쓰이는 분들은 처음에 read_csv (데이터주소 ,index_col=0) 로 불러와 주세요

+ 작업 내용 올릴때 git pull 을 먼저 하고 하지 않으면 충돌이 발생할 수도 있으니 먼저 진행해주세요! 아예 작업 시작할 때 하는게 가장 좋고 , 혹시 merge 가 필요하면 메세지 작성 따로 안해도 되고 커멘드 창에서 그대로 :wq 입력하고 실행하면 병합됩니다!

결측 , 이상치 대체 및 제거

• Personal data (NA, 3 outliers)

• Answer time data (zero-value , outliers)

• correlation , grouping among subdata (personal , MACH-questions , self-describe , vocab)

@NOHYC @SEJUNHONG

일찍 주무쇼

• train 에는 결측,극단값이 없는 컬럼이 test에는 존재할 수도 있으므로 내꺼처럼 data로 하나로 병합해서 나중에 다시 분리하거나 각 컬럼 조사시 test도 같이할 것
• 마키아벨리즘은 부호를 부여하고 평균을 구하는 계산이라 지금 sum() 수치는 이후에 확인 가능. 지금 수치는 잘못된 수치
• 어떤 그래프인지 잘 모르겠는 그래프가 몇개 있음!
  (ex. plt.hist(qa[( qe1p < 4 ).sum(axis = 1)>0].sum(axis = 1),bins =range(100)))
• 각 셀의 동작전체를 주석으로 달기에는 많으니 각 변수가 어떤값인지 주석을 추가하거나 figure에 xlabel,ylabel 추가해서 어떤 그래프인지 , 어떤 그래프가 쓸만할지!
• 질문답변 시간들 신뢰구간 조사한거 보니까 하위경계에 걸리는 애들은 없고 다 상위경계에만 걸리던데 혹시 답변 최소시간은 다들 몇 정도되는지(0 제외)? 이상치가 꽤 있으니 평균말고 중앙값들은 다들 몇 정도되는지도 최소시간이랑 비교 가능하면 좋음!

---

+ 아 맞다 그리고 저런 경연용 데이터 공개레포에 올리면 안되니 로컬에만 가지고 있어주세유! 원격꺼는 내리고