bricolages / bricolage-streaming-loader Goto Github PK

strload_objectsとstrload_tasks全行をなめなくてもタスクが作るようにする。

方式

オブジェクトの重複チェックをobjectsへのinsert時に行い、重複していないobjectのみについてstrload_task_objectsに task_id=-1 の行を作成する。

特徴

• task_objectsに行があるオブジェクトは重複していないことが保証されるので、それ以上の重複チェックが不要
• task_objectsのtask_idにインデックスを張っておくことでFTSを回避できる。

bricolage-streamingload -> bricolage-streaming-loader (It should be same as Git repository name)