arakawatomonori / covid19-surveyor Goto Github PK

「解答ありがとうございます！」は「解答」ではなく「回答」の方がより良いのではないか
https://github.com/yuiseki/vscovid-crawler/blob/7336b05d037f3c04be04db5f5547a9727fbddc78/www-data/slack-interact.sh#L45

候補

• https://github.com/sstephenson/bats
• https://shellspec.info/

• help.stopcovid19.jp で
• 『東京都でこんな支援やっとるぞ！「なんとかかんとかの助成金」 URL』みたいなフォーマットで
• ツイートできるボタンをつける

CI で make test が通るかを確認できる変更をレポジトリに加える。

案

• 入力フォームが書き換わるたびにcgi.shにGETリクエスト送ってgrepしてレスポンスを表示するほうがマシになりそう？

とりあえず CloudFront の Invalidate 権限を持つ IAM ユーザーを作りました。
今は deploy には CircleCI を使っているんですかね。
どのように deploy されているのかよくわからないのですが、どうするのが良いでしょうか。
aws CLI を CircleCI の VM から実行できれば、シェルスクリプト作って Makefile から実行すれば良さそうですが。

参考文献

• https://students-tech.blog/post/systemd-startup.html#service
• https://qiita.com/DQNEO/items/0b5d0bc5d3cf407cb7ff
• https://qiita.com/a_yasui/items/f2d8b57aa616e523ede4

https://api.slack.com/

make test で動作確認をしていたのですが、

$ make test
~~（wget の出力）~~
終了しました --2020-04-15 21:39:45--
経過時間: 19m 55s
ダウンロード完了: 8924 ファイル、3.2G バイトを 7m 45s で取得 (7.15 MB/s)
Makefile:36: recipe for target 'test' failed
make: *** [test] Error 123

と、途中でジョブが落ちました。

grep.sh が落ちているようで、grepは検索がマッチしなかった場合、終了コード1を返すので、スクリプトの失敗となりジョブが途中で落ちるようです。

以下は set -ex 付きの出力

$ make grep 
./crawler/grep.sh
++ cat
+ words='助成
補助
給付
収入
減額
支援
資金
税金
税制
納税
県税
融資
貸付
制度
相談
窓口
猶予
延長
学校
授業
労働
特例
措置
雇用
事業
休業
リモートワーク
テレワーク'
+ rm -f www-data/index.html
+ sed '/^.\{1,200\}$/!d'
+ sed 's/ //g'
+ grep -r コロナ '--include=*.html' ./www-data
+ sed s/　//g
+ sed 's/[ \t]*//g'
+ sed -e 's/<[^>]*>//g'
+ for word in ${words}
+ echo 助成
助成
+ grep 助成 ./tmp/grep_コロナ.txt.tmp
+ for word in ${words}
+ echo 補助
補助
+ grep 補助 ./tmp/grep_コロナ.txt.tmp
+ for word in ${words}
+ echo 給付
給付
+ grep 給付 ./tmp/grep_コロナ.txt.tmp
+ for word in ${words}
+ echo 収入
収入
+ grep 収入 ./tmp/grep_コロナ.txt.tmp
+ for word in ${words}
+ echo 減額
減額
+ grep 減額 ./tmp/grep_コロナ.txt.tmp
Makefile:45: recipe for target 'grep' failed
make: *** [grep] Error 1

• 全サイトのクローリングしなくてもシェルスクリプトの動作確認できるようにしないと時間がかかってよくない

0 になってる。

$ ./wget.sh
xargs: max. processes must be >0
./wget.sh: line 10: ./grep.sh: No such file or directory
./index.sh: line 48: -1: substring expression < 0

data/ に city.csv みたいなファイルを追加してくれる人を急募

Python でいう if __name__ == '__main__' のような構文をを加えたい。

• テストを実行する際に、テストする関数を読み込むために現在 . ./crawler/wget.sh などで読み込んでいる
  • この読み込みは関数以外も読み込んでしまう（実行がされる）
• テストしたい関数以外も実行され、環境変数などが整備されないまま実行されてしまいエラーになる
  • 具体的には、現在の slack-bot/url-map.sh の下記のコードがテスト時にも実行されている

channels_id=`get_channels_id`
members_list=`get_members_list $channels_id`

echo members num ${#members_list[@]}

for member in $members_list; do
	member_id=${member:1:-1}
	send_message $member_id
done

これを

if [[ "${BASH_SOURCE[0]}" == "${0}" ]]; then
    # ... 実行コマンド
fi

などとすればスクリプトとして実行されたときのみ実行され、source されたときには実行されない。はず。（未確認）

参考: https://stackoverflow.com/questions/29966449/what-is-the-bash-equivalent-to-pythons-if-name-main

https://github.com/Nekoya3/VS_Covid19_Site/blob/master/src/index.html

いろいろ同時にいじっているのでこの問題は後回し。

備忘のためにチケットを切りました。

Slack #covid19-surveyor-dev

chrome 1:13 PM, 2020-04-18
make wget、50GBくらい容量食うと聞いてましたが、150GB以上空いてたSSDがいっぱいになって止まっちゃいましたね…
内容見ると謎の画像キャッシュみたいなので数GB食ってたりするので
wget で画像をダウンロードしないとか、拡張子を制限すれば少し減りますかね

https://hacknote.jp/archives/28518/

これを参考にすればできるはず

全く急ぎではないですが、現在ライセンスの指定がないので何か決めたほうが良いと思います。

カレントディレクトリにダウンロードすると見通しが悪くなるので www-data ディレクトリにダウンロードする。

発生している問題

• 調査対象が厚生労働省のページのとき、 ${govname}が独自に実施しているものである など ${govname} を使用している場所で govname = '厚生労働省\n厚生労働省' となっている

やりたいこと

• urls.txtの各URLをKeyとしてRedisにつっこむ
• SlackのbotがDMでランダムに未回答のURLを取り出してランダムな人に「これは都道府県/市区町村独自の個人向けの経済支援制度ですか？」とYes/Noで答えられる質問をする
• 解答されたら結果をRedisに保存し、ランダムに次の未回答のURLを取り出してまたその人に質問する

• Fork だと動作確認がしにくいということで invite してもらった
• 新規参加者はまず最初のいくつかは Fork して PR 出すでよさそう
• Invitation を Accpet しないと権限つかない

before

🧸 sarabi-mastiff.lan:covid19-surveyor
$ git push
remote: Permission to arakawatomonori/covid19-surveyor.git denied to tamakiii.
fatal: unable to access 'https://github.com/arakawatomonori/covid19-surveyor.git/': The requested URL returned error: 403

grep -r コロナ --include="*.html" ./ ってやってしまっているので拡張子がhtmlじゃないとgrep対象にならない

結果がカレントディレクトリに出力されると見通しが悪くなる。

来た質問の中のひとつに、意図通りに表示されていなそうなものがあったので報告します（詳細は調べてません）。

Rename と Transfer を行う十分な理由が増えてきた。

Transfer 先候補

https://github.com/arakawatomonori

どのテストが失敗してどのテストが成功しているのかを集計する ./test/test.sh のようなものを書いたほうがよさそう。