ctiml / campaign-finance.g0v.ctiml.tw Goto Github PK
View Code? Open in Web Editor NEW政治獻金數位化.人工 OCR
Home Page: http://campaign-finance.g0v.ctiml.tw/
政治獻金數位化.人工 OCR
Home Page: http://campaign-finance.g0v.ctiml.tw/
政治獻金數位化 OCR 系統一直會出現:
『第 undefined 頁 (undefined, undefined ) 已經有undefined人填寫確認了,』
建議將以下注意事項內容,放進人工 OCR 網頁:
via 「開放政治獻金」粉絲專頁回饋
https://www.facebook.com/cy.sunshine/posts/1498836940228814?comment_id=1498873743558467
看了一下 ApiController::fillcellAction() ,作法好像是將最新的答案直接覆蓋過去,並沒有保留舊的答案,但預期應該是記錄多次答案資料,在 /api/getrandom & /api/getrandoms 的時候從輸入最多次的答案當作結果傳回?
希望更改頁面
http://campaign-finance.g0v.ctiml.tw/
【欲更改之原始內容】
【希望更改成以下連結】
from Bo-Yuan Peng @ FB
Shenk Wang: 這顆按鈕寫作 F5 或 cmd +r
可能有些和前面的意見有重覆,先講最影響效率的幾點:
scsnake
網址: http://www.ptt.cc/bbs/Gossiping/M.1397903923.A.3D2.html
"ctiml: 網頁可以加個 link 到 "政治獻金圖檔上傳回報表" 嗎 ? https://docs.google.com/forms/d/108LkUakP8qC5G3AGXMaX8t8d7yklf05M_PBphUqe6vg/viewform "
想試試電腦視覺作法
目前 idea :
目前我有找到的資料:
此次資料已再次進入校正階段,
先前曾有過經驗,經四次校正後還是會有少數錯誤資料存在;
建議除原有開放式校稿外,
增加責任校稿帳號機制,登入後可以頁面為單位責任校對;
校對完成後將該頁面資料列入初稿,不再出現於開放式校搞序列中。
目前已經有一些人工 OCR 的成果, https://g0v.hackpad.com/8ow2GnliH48 也有一些程式自動 OCR 的結果.
由於大多是數字, 重複的格子很多. 可以一次 5*5 列出一樣的格子, user 一望即知哪個是錯的. 網頁提供 button 把錯的 delete 掉(或是當場輸入正確的值), 再按 submit 一次確認全部.
5*5 是舉例, 可以偵測螢幕大小把畫面塞滿.
以目前的開放架構而言,雖然方便所有想參與的人輕鬆加入一起人工OCR,可是隱藏的風險就是有心要搗亂的人也可以很容易就進行破壞。(像是不停地將已輸入之內容全都以「這是空白」或是隨意的用快速鍵更新進行破壞)
建議可以設定隱藏的防搗蛋檢核機制,將一些(大約3050張應該十分足夠)已經辨識且確定正確內容值的圖片當作檢核用圖,隨機(出現率大約1%)出現讓使用者填寫,使用者介面那邊當然必須完全看不出異狀。如果使用者在遇到檢核圖片時所填寫內容不符合正確值,就在下一張繼續提供另一檢核用圖。若連續數張(35,看要多嚴格)填寫內容皆錯誤,應能排除掉誤看或輸入錯誤的無辜情況,則可將該使用者判定為搗蛋者。
搗蛋者不必踢出或警告,這樣會讓他有所警覺。對於判定為搗蛋者的使用者,系統繼續讓他如常操作,不要有任何異狀。但唯一差別是讓他所輸入或確認的所有值都無效化,對資料表單填寫完全不造成影響。如此一來搗蛋者無從察覺,在他的這一次持續操作裡,所有之後的動作全都是做白工。如此不但可有效阻止存心搗蛋者對資料正確性的破壞,更能進一步消耗有心破壞者的人力時間資源。
http://logbot.g0v.tw/channel/g0v.tw/2014-07-11/17
https://www.facebook.com/cy.sunshine/posts/622251207887396
如題,建議可以在頁面中增加一個免密碼的名稱欄位,然後想要收集積分的人就可以打一個名稱進去,就會開始紀錄(e.g. 一個cell1分)。
旁邊也顯示一個積分排行榜,還有「你目前在第###名,積分##」
這樣應該可以鼓勵一些人來打XD
由於手機打字較慢,剛剛用ios 的safari打開發現圖片會被切掉而且按鈕不好按。
為了提昇資料正確性也考量手機的輕度資料輸入方式
或許可以開發手機版的介面,專門把那些曾經keyin辨識過的圖檔挑出來之後只做兩個按鈕「正確」跟「錯誤」
讓有鍵盤的人專心打字,只有手機的人也可以快速加入資料確認的行列。
請問accounts底下28個csv檔,是目前所有已完成數位化的結果嗎?
那data/govcash.csv是"綜合"上述28個檔的內容嗎?
錯誤記錄像這樣:
GET http://campaign-finance-pic.ronny.tw/4109/4-3.png 404 (Not Found) campaign-finance-pic.ronny.tw/4109/4-3.png:1
GET http://campaign-finance-pic.ronny.tw/4108/4-7.png 404 (Not Found) jquery.min.js:2
GET http://campaign-finance-pic.ronny.tw/4108/5-5.png 404 (Not Found) jquery.min.js:2
GET http://campaign-finance-pic.ronny.tw/4108/8-7.png 404 (Not Found) jquery.min.js:2
GET http://campaign-finance-pic.ronny.tw/4111/3-6.png 404 (Not Found) jquery.min.js:2
GET http://campaign-finance-pic.ronny.tw/4108/2-5.png 404 (Not Found) jquery.min.js:2
GET http://campaign-finance-pic.ronny.tw/4110/11-6.png 404 (Not Found) jquery.min.js:2
GET http://campaign-finance-pic.ronny.tw/4109/7-3.png 404 (Not Found) jquery.min.js:2
GET http://campaign-finance-pic.ronny.tw/4108/4-6.png 404 (Not Found) jquery.min.js:2
GET http://campaign-finance-pic.ronny.tw/4108/15-7.png 404 (Not Found) jquery.min.js:2
因為一直拉不到下一張圖片,所以程式會一直跑,也許可以考慮在跑個 20~30 次之後先說聲道歉把迴圈停住?
想跳坑做 OCR Android App
功能
需要的 API
最後希望能發展成 OCR App,提供有相關資料處理使用 XD
有網友反應 iphone4 手機介面看到的樣子並不適合操作
https://www.facebook.com/cy.sunshine/posts/589256084520242
"可放大縮小 但縮小後空白的按鈕依然被裁掉 送出也裁了一半!"
參與者在目前的輸入頁面遇到空白圖片時會需要將手離開鍵盤點擊額外的按鈕,會降低打字效率,若提供一額外頁面專門用來區分空白圖片,就可以利用此資訊將真正需要輸入的圖片推送給打字兵,提高輸入效率。
另外,區分空白圖片的輸入頁面只需要點擊按鈕,能夠讓手機使用者更容易參與。
影片: https://www.youtube.com/watch?v=Yv4n8sVVoAg
IE 版本:11.0.9600.17041
更新版本:11.0.7
在使用者操作過程中,會有 10 張同樣的任務持續循環,沒有辦法帶入新的任務
雖然使用者後來改用 firefox 就沒有這個問題,還是做個記錄
代PO聽別的網友說, 有因為OCR 入電腦邊邊較淡導致 切割失敗, 可能蠻需要一個按鍵, 這張圖是錯的
http://campaign-finance-pic.ronny.tw/2793/17-1.png
您好,希望可以在旁邊增加討論區,
或是可以有個連結到這裡的位置。
又或著是除錯區、意見反映區之類的地方。
雖然在右下方已有聊天室,但該區話題
其實很難插入,反映各類問題......QQ
然後,這個地方反映增加按鈕的網址,
也是在PTT偶然間看見的,不然此問題也不知該去何處反映...
(在OCR那個作業網址上,找了很久依然沒有看見可以反映此類問題的地方...
(應該不只有我有此類的困擾....
P.S. 非常感謝g0v所做的一切,小小鄉民甚麼都不懂,
小妹先承認我按錯兩次了,非常抱歉QQ
(匿名 被認成 匿名捐贈,但確認人數也有2~6人等)
剛完成這波校對,
隨即發現有被搗亂的狀況,在次驗證時所填資料皆為空白。
可能需要另行研議對策。
"這是空白"、"這答案沒錯" 如果有快捷鍵應該可以再加速進行。
您好:
我現在正試圖處理這個計劃的成果資料,但發現可供下載的部分似乎只有欄位內容而沒有欄位標題(比如幾乎沒有內容的第六欄到底是什麼就無從得知),另外也找不到該頁面/欄位對應到的立委/公僕或編號等等。由於編寫API的部分好像也不在GitHub上,所以希望能夠有一段說明文字、或者是圖檔範例,要不然從API下載下來的資料也沒辦法真的處理或visualize。感謝!
Cheers,
Hope
建議將"是"加入快速輸入當中,因為看過上百筆資料為"是"!
Q1: 撈錯圖片
今天繼續OCR
卻發現已有3人填寫:"匿名捐贈"
圖片顯示: "是"
http://campaign-finance.g0v.ctiml.tw/api/getcellvalue/345/6/7
submit完之後
然後用API去查之前的history才發現:
{"error":false,"value":"\u662f","history":[{"id":3217689,"page":3445,"ans":"\u662f","created":1399607388,"encrypted_client_ip":1559128788,"row":4,"col":8},{"id":3217030,"page":3445,"ans":"\u662f","created":1399606226,"encrypted_client_ip":1559128788,"row":4,"col":8},{"id":2600528,"page":3445,"ans":"\u533f\u540d\u6350\u8d08","created":1399056057,"encrypted_client_ip":1559128788,"row":4,"col":8},{"id":2503404,"page":3445,"ans":"\u662f","created":1398939537,"encrypted_client_ip":1559128788,"row":4,"col":8}]}
encrypted_client_ip都是我自己(第四個submit是我自己),這應該表示: 某個時間點有抓錯圖的狀況? 應該已經fix不會造成這個狀況了吧?
Q2: 從加密IP來看, 好像已經填寫四次了,重複率會如此的高嗎?
剛連去玩,雖為第三次校對,輸入過程有碰到實際有錯的值(非格式錯誤),
想建議將來將有複次修正的資料特別提出交叉比對,以提高資料正確性。
feature request:
當 user 正在輸入時, 先 preload 下一張 image. 這樣 user 就不用等, 可以馬上輸入下一張
運用 https://github.com/polor1010/tw-campaign-finance-recogntion 的成果,製作了這個程式:
https://github.com/kiang/tw-campaign-finance/blob/master/scripts/kiang/11_api2ocr.php
把 api 上還沒有標示完成的文件掃過一遍去產生的結果:
http://campaign-finance.g0v.olc.tw/uploads/ans.csv.gz
也許可以直接匯入線上資料庫讓使用者協助校正
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.