positoy / economy Goto Github PK

설명

• 품목별 통관세 잠정치/확정치를 확인할 수 있음
• 특정 품목의 수출입 데이터를 확인하여 주식 투자에 빠르게 대응
• OpenAPI 사용 가이드 pdf
  • 약 50개 API 제공
  • API 별 authkey

3가지 활용 가능

• 데이터 시각화
• 수출입 통계 변경 알림
• 다른 데이터를 계산하기 위한 1차 데이터

각 활용 위한 설계

1. 데이터 시각화

• 크롤링하여 데이터 직접 적재 필요
• 1차적으로 중요한 시각화를 구현하다가, 나중에는 사용자가 커스텀하게 조회할 수 있는 구조로 확장해양 할 듯

3. 수출입 통계 변경 알림

• 주기적인 업데이트 확인 필요 (1번 크롤링과 연계하여 동시 작업)
• 원본 데이터, 변조 데이터 필요

5. 다른 데이터를 계산하기 위한 1차 데이터

• 다른 데이터를 충분히 계산해봐야 함 (통계, AI 연산 등)
• 필요에 따라 python 라이브러리 등으로 제공할 수 있음
• AI 연산을 한다면, dataframe, tensor 등으로 리턴할 수 있도록

TODO

1. data 설계

• 호출양식
  • api url
  • params
  • authkey
  • hscode
  • 호출페이지를 먼저 만들 수 있을 듯

1. crawler 설계

• 하루 호출량 : API 수 x 하루호출횟수 x hscode 수
  • API 수 : 51
  • hscode
    • 6자리 국제협약 수출코드
    • 한국에서는 4자리 확장하여 10자리 HSK 사용
      • 류(Chapter): 앞 2자리
      • 호(Heading): 류(Chapter) 2자리 이후 4자리
      • 소호(Sub-heading): 호(Heading) 이후 6자리
      • Item (품목, 4자리)
  • 데이터가 너무 많아서 전부 크롤링 할 수는 없다. 요청이 있을 때 hit 하지 않으면 작업을 시작할 수 있을 듯

3. notification, visualization 설계

• 알림이 요청된 hscode 에 대해서 1년치 데이터를 저장하고 서비스 시작 가능
• unipass 는 3년치 자료 저장함
• notification 방법
  • app
  • slack
  • kakao
  • telegram