arakawatomonori / covid19-surveyor Goto Github PK

主要省庁と都道府県や自治体の経済支援制度をまとめる

License: Do What The F*ck You Want To Public License

Shell 68.83% Dockerfile 1.46% Makefile 3.65% HTML 1.56% Vue 10.54% JavaScript 1.22% Python 10.30% Jupyter Notebook 2.45%

covid19-surveyor's Introduction

covid19-surveyor

シェルスクリプトで書かれた主要省庁と都道府県のWebサイトを収集し分類するシステム。

Warning

make wget を実行するとかなりのディスク容量を消費します。また、全国の各自治体のサイトに負荷をかけることになるので、基本的には実行をしないようにしてください。

動作確認が必要でデータをクロールしたい場合は、代わりに下記のコマンドを実行してください。

./crawler/wget.sh data/test.csv

Setup for Ubuntu

Requirements

sudo apt update
sudo apt install make wget jq nodejs npm nginx fcgiwrap squid poppler-utils -y

copy nginx config

sudo cp config/nginx_config /etc/nginx/sites-available/
sudo ln -s /etc/nginx/sites-available/nginx_config /etc/nginx/sites-enabled/nginx_config
sudo rm /etc/nginx/site-enabled/default
sudo service nginx restart

copy squid config

sudo cp -f config/squid.conf /etc/squid/
sudo service squid restart

copy wget config

cp .wgetrc ~/
cp accept-ext.json.example accept-ext.json

release

make release

Setup for macOS

brew install wget jq nginx fcgiwrap squid poppler

Install GNU xargs in macOS

$ brew install findutils
$ export PATH="/usr/local/opt/findutils/libexec/gnubin:$PATH"

Install GNU grep in macOS

$ brew install grep
$ export PATH="/usr/local/opt/grep/libexec/gnubin:$PATH"

Install GNU sed in macOS

$ brew install gnu-sed
$ export PATH="/usr/local/opt/gnu-sed/libexec/gnubin:$PATH"

Run with docker-compose

docker-compose build
docker-compose up # add `-d` to run in background
# open http://localhost:8080/
docker-compose exec crawler make publish
docker-compose exec crawler make wget
docker-compose exec crawler bash

Deploy Preview

プッシュする度にビルドされvercel.comを通しプレビュー用のユニークURLが発行されます。詳しくはこちらのVercel for GitHubをご覧ください。
プルリクエストのコメントに上記のURLが付くのでレビューや確認する際の参考にできます。

For developers

開発についての議論などは Code for Japan が運営する Slack Workspace で行っています。

開発に参加したい方は下記の招待リンクから Slack の Workspace に参加いただき、 #covid19-surveyor-dev チャンネルに参加してください。

https://cfjslackin.herokuapp.com/

covid19-surveyor's People

Contributors

Stargazers

Watchers

Forkers

takano32 nekoyasan veilchen mikkame smellman halsk ytnobody tamakiii-sandbox yokinist chrome-cgi knokmki612 iori-yja shokai oieioi kobake tbnv999 yoshikinoko hata6502

covid19-surveyor's Issues

リリース時にCloudFrontのキャッシュを削除する

とりあえず CloudFront の Invalidate 権限を持つ IAM ユーザーを作りました。
今は deploy には CircleCI を使っているんですかね。
どのように deploy されているのかよくわからないのですが、どうするのが良いでしょうか。
aws CLI を CircleCI の VM から実行できれば、シェルスクリプト作って Makefile から実行すれば良さそうですが。

/ でも /index.html でもアクセスできてしまうので https://help.stopcovid19.jp/ に統一するべき

常時稼働しているべきシェルスクリプトをsystemdでサービス化する

参考文献

slack_token の作り方

https://api.slack.com/

grep.sh の成果を grep-data ディレクトリに格納する

結果がカレントディレクトリに出力されると見通しが悪くなる。

twitter, facebookでいい感じに表示されるようにOGPを設定する

間違いを報告ボタンをweb側につける

wget してきたファイルに Shift_JIS のファイルもある

Slack botだけではなく、LINE botもつくりたい

index.htmlがindex.phpだったりして404になっている

テストスクリプトの終了コードをまとめるスクリプトの記述

どのテストが失敗してどのテストが成功しているのかを集計する ./test/test.sh のようなものを書いたほうがよさそう。

arakawatomonori/covid19-surveyor の権限をもらう

Fork だと動作確認がしにくいということで invite してもらった
新規参加者はまず最初のいくつかは Fork して PR 出すでよさそう
Invitation を Accpet しないと権限つかない

before

🧸 sarabi-mastiff.lan:covid19-surveyor
$ git push
remote: Permission to arakawatomonori/covid19-surveyor.git denied to tamakiii.
fatal: unable to access 'https://github.com/arakawatomonori/covid19-surveyor.git/': The requested URL returned error: 403

$ ./wget.sh
xargs: max. processes must be >0
./wget.sh: line 10: ./grep.sh: No such file or directory
./index.sh: line 48: -1: substring expression < 0

index.htmlのインクリメンタル検索が超重い

案

入力フォームが書き換わるたびにcgi.shにGETリクエスト送ってgrepしてレスポンスを表示するほうがマシになりそう？

Makefile の .PHONY を整理する

いろいろ同時にいじっているのでこの問題は後回し。

備忘のためにチケットを切りました。

urls.txtを人力MapReduceできるようにする

やりたいこと

urls.txtの各URLをKeyとしてRedisにつっこむ
SlackのbotがDMでランダムに未回答のURLを取り出してランダムな人に「これは都道府県/市区町村独自の個人向けの経済支援制度ですか？」とYes/Noで答えられる質問をする
解答されたら結果をRedisに保存し、ランダムに次の未回答のURLを取り出してまたその人に質問する

https://github.com/arakawatomonori

発生している問題

調査対象が厚生労働省のページのとき、 ${govname}が独自に実施しているものである など ${govname} を使用している場所で govname = '厚生労働省\n厚生労働省' となっている

help.stopcovid19.jp で
『東京都でこんな支援やっとるぞ！「なんとかかんとかの助成金」 URL』みたいなフォーマットで
ツイートできるボタンをつける

全サイトのクローリングしなくてもシェルスクリプトの動作確認できるようにしないと時間がかかってよくない

$ make test
~~（wget の出力）~~
終了しました --2020-04-15 21:39:45--
経過時間: 19m 55s
ダウンロード完了: 8924 ファイル、3.2G バイトを 7m 45s で取得 (7.15 MB/s)
Makefile:36: recipe for target 'test' failed
make: *** [test] Error 123

と、途中でジョブが落ちました。

grep.sh が落ちているようで、grepは検索がマッチしなかった場合、終了コード1を返すので、スクリプトの失敗となりジョブが途中で落ちるようです。

以下は set -ex 付きの出力

$ make grep 
./crawler/grep.sh
++ cat
+ words='助成
補助
給付
収入
減額
支援
資金
税金
税制
納税
県税
融資
貸付
制度
相談
窓口
猶予
延長
学校
授業
労働
特例
措置
雇用
事業
休業
リモートワーク
テレワーク'
+ rm -f www-data/index.html
+ sed '/^.\{1,200\}$/!d'
+ sed 's/ //g'
+ grep -r コロナ '--include=*.html' ./www-data
+ sed s/　//g
+ sed 's/[ \t]*//g'
+ sed -e 's/<[^>]*>//g'
+ for word in ${words}
+ echo 助成
助成
+ grep 助成 ./tmp/grep_コロナ.txt.tmp
+ for word in ${words}
+ echo 補助
補助
+ grep 補助 ./tmp/grep_コロナ.txt.tmp
+ for word in ${words}
+ echo 給付
給付
+ grep 給付 ./tmp/grep_コロナ.txt.tmp
+ for word in ${words}
+ echo 収入
収入
+ grep 収入 ./tmp/grep_コロナ.txt.tmp
+ for word in ${words}
+ echo 減額
減額
+ grep 減額 ./tmp/grep_コロナ.txt.tmp
Makefile:45: recipe for target 'grep' failed
make: *** [grep] Error 1

テストを実行する際に、テストする関数を読み込むために現在 . ./crawler/wget.sh などで読み込んでいる
- この読み込みは関数以外も読み込んでしまう（実行がされる）
テストしたい関数以外も実行され、環境変数などが整備されないまま実行されてしまいエラーになる
- 具体的には、現在の slack-bot/url-map.sh の下記のコードがテスト時にも実行されている

channels_id=`get_channels_id`
members_list=`get_members_list $channels_id`

echo members num ${#members_list[@]}

for member in $members_list; do
	member_id=${member:1:-1}
	send_message $member_id
done

これを

if [[ "${BASH_SOURCE[0]}" == "${0}" ]]; then
    # ... 実行コマンド
fi

などとすればスクリプトとして実行されたときのみ実行され、source されたときには実行されない。はず。（未確認）

参考: https://stackoverflow.com/questions/29966449/what-is-the-bash-equivalent-to-pythons-if-name-main

回答時の応答メッセージについて

「解答ありがとうございます！」は「解答」ではなく「回答」の方がより良いのではないか
https://github.com/yuiseki/vscovid-crawler/blob/7336b05d037f3c04be04db5f5547a9727fbddc78/www-data/slack-interact.sh#L45

make wget 等でディスク容量を使いすぎる問題に対応

Slack #covid19-surveyor-dev

chrome 1:13 PM, 2020-04-18
make wget、50GBくらい容量食うと聞いてましたが、150GB以上空いてたSSDがいっぱいになって止まっちゃいましたね…
内容見ると謎の画像キャッシュみたいなので数GB食ってたりするので
wget で画像をダウンロードしないとか、拡張子を制限すれば少し減りますかね