tnka122 / make-dbdc-dialogue-corpus

make-dialogue-corpus

対話破綻検出チャレンジに使用されている雑談対話コーパスを使って対話ペアデータを作成するためのツールです。

必要なもの

python 3.x系
(当環境はpython3.9.5)

生成されるもの

生成されるファイル（source.txt, target.txt）はdbdcディレクトリに、ダウンロードしたデータはrawディレクトリに入ります。
source.txtには対話ペアデータの入力文、target.txtには対話ペアデータの出力文が格納されます。それぞれのファイルの同行の文が対となっている形になります。
データ数はユーザ->システムのペアデータが5,404個、システム->ユーザのペアデータが11,451個、合計16,855個です。

使い方の例

git clone https://github.com/tnka122/make-dbdc-dialogue-corpus.git
cd make-dbdc-dialogue-corpus
python3 main.py

注意点

対話ペアデータを作る際には、対話破綻していない対話ペアデータのみを取り出してデータセットを作成しました。
この雑談対話コーパスでは、システムが応答しているペアデータに対して数人が「対話破綻しているか否か」のアノテーションをつけているので、そのアノテーションを参照して半数以上が「対話破綻していない」と判断している対話ペアのみを採用しています。
また、ユーザが応答しているペアデータに関しては全て正しい対話ができているとみなしてデータセットに含めています。

ライセンス

作成されたコーパスは元データである雑談対話コーパスのライセンスに準じますので、詳しくはrawディレクトリにあるライセンスをご確認ください。
以下、対話破綻検出チャレンジ 3.雑談対話コーパスのライセンスより引用

本データはMITライセンスのもと，無償・無保障にて研究用・商用を問わず利用できます．ただし，本データを利用して得た成果を学会等で発表する際には，可能な限り，本データについての以下の報告・論文を引用するとともに，NTTドコモの雑談対話APIへの参照をお願いします．詳細は本コーパスに同梱されているライセンスをご覧ください．