ku-nlp / kyoto-reader

A processor for KyotoCorpus, KWDLC, and AnnotatedFKCCorpus

kyoto-reader: A processor for KWDLC, KyotoCorpus, and AnnotatedFKCCorpus

以下のコーパスから形態素・係り受け関係・述語項構造・共参照関係・固有表現情報を抽出し、Pythonから扱うためのインターフェースを提供します。

• 京都大学ウェブ文書リードコーパス (KWDLC)
• 京都大学テキストコーパス (KyotoCorpus)
• 不満調査データセットタグ付きコーパス (AnnotatedFKCCorpus)

Requirements

• Python 3.7.2+
• pyknp 0.4.6+
• KNP 5.0+ (optional)
• JumanDIC (optional)

Installation

$ pip install kyoto-reader

Documents

https://kyoto-reader.readthedocs.io/en/latest/

Authors/Contact

京都大学 黒橋・褚・村脇研究室 (contact at nlp.ist.i.kyoto-u.ac.jp)

• Nobuhiro Ueda <ueda at nlp.ist.i.kyoto-u.ac.jp>

kyoto-reader's Issues

add scripts for adding juman/knp features to raw corpus

KWDLC や KyotoCorpus には品詞情報や基本句の素性などが付与されていないので、
jumandic や knp を用いてそれらを自動付与するスクリプトを同梱する。

support discourse relation

一部の KWDLC の文書には談話関係が自動付与されている。
このデータも扱えるようにする。