daisuke19891023 / covid19-yamanashi-scraping

covid19-yamanashi-scraping

What's this

covid-19に関する山梨県の公表済みのデータをスクレイピングにより取得するスクリプトです。

Specification of Scraping

• 山梨県の新型コロナウィルス感染症公式ページよりサイトに表示する情報の元となるデータを取得する
• 新型コロナウイルス感染症に関する発生状況等から取得するデータ
  • 陽性患者数
  • 陽性患者の属性
  • 個々の患者情報が記載されているPDFをテキストに変換し、データを取得する
• 新型コロナウイルス感染症に関する統計情報(発生状況、検査状況、相談件数)から取得するデータ
  • 県内の疑似症例の検査状況
  • 帰国者・接触者相談センター相談件数
  • 新型コロナウイルス感染症専用相談ダイヤル相談件数

Specification of Update

• 当リポジトリのGitHub Actions
  • GitHub Actionsにより毎時実行し、データに更新がある場合、data.jsonを更新する
  • データに変更があった場合、対策サイトのGitHubリポジトリに対しdispatch eventを発生させる
• dispatch先のリポジトリのGitHub Actions
  • dispatch eventを受信し、data.jsonを更新した上でpull requestを出す
  • マージ元のブランチはcreate-pull-request/patchという名称で生成され、defaultブランチへのマージを行う

How to run

Environment

• python version ≥ 3.7

Set up command

$python -m pip install --upgrade pip

$pip install flake8 pytest pytest-cov "pytest-remotedata>=0.3.1"

$pip install -r requirements.txt

Run command

スクリプト実行

$python -m src

テスト実行

$pytest -v --cov=.

Where would it be used

• 山梨県 新型コロナウイルス感染症対策サイト
• https://github.com/covid19-yamanashi/covid19

Lisence

本ソフトウェアは、MITライセンスの元提供されています。

Reference

• 長野県版 新型コロナウイルス感染症対策サイト データ更新を自動化した話
• https://github.com/wataruoguchi/covid19_nagano_csv_to_json

covid19-yamanashi-scraping's Issues

contactsをdata.jsonに加える

GitHubActionsによるLastUpdateの時刻生成

datetime.now()によりutc時間で生成されている。
datetime.utcnow()に変更して、JSTに変換する必要がある

再陽性をカウントしないようロジックを変更したい

改善詳細 / Details of Improvement

• 再陽性患者が 新型コロナウイルス感染症の県内における発生状況 の表に入ったことにより再陽性患者が陽性患者数にカウントされてしまい、県で発表している感染者と数が合わなくなっている

期待する見せ方・挙動 / Expected behavior

• 再陽性患者は「陽性患者数」および「陽性患者の属性」に入らないようにしたい

参照
covid19-yamanashi/covid19#54

患者個別：県外事例を除外する

data.jsonを比較し、更新されたものであるか判定する

PCR検査件数・電話相談件数・陽性者の状況のオープンデータ

PCR検査件数・電話相談件数・陽性者の状況のオープンデータで公開されています

新型コロナウイルスPCR検査件数
https://www.pref.yamanashi.jp/koucho/coronavirus/documents/pcr.xlsx

新型コロナウイルス電話相談件数
https://www.pref.yamanashi.jp/koucho/coronavirus/documents/soudan.xlsx

新型コロナウイルス陽性者の状況
https://www.pref.yamanashi.jp/koucho/coronavirus/documents/yousei.xlsx

StringUtilのテストコード作成

患者個別：2例以上載っているPDF

PCR検査数の変更に伴う集計方法の変更

令和3年分以降のPCR検査数の集計方法が変更となったため、対応する。

flake8の導入

GitHubActionsでpull requestを発行する

要請患者の属性にてリリース日で降順ソート

querentsをdata.jsonに加える

patients_summaryのデータを取得する

和歴を西暦に変換する

GitHubActionsでdata.jsonを作成する

lastUpdateをdata.jsonに加える

件数の比較

患者情報を新フォーマットのページから取得する

divで囲われていない素のhtmlからテキスト読み取りを行う