iori / spell-collect

PeterNorvigのスペル修正プログラム。日本語対応に挑戦する。

Spell-Collect スペル修正プログラム

現在開発中です。spell_j.pyは正常動作していません。

original/spell.py:
PeterNorvigの書いたスペル修正プログラムに、勉強の為にコメントを書いたもの。オリジナル。

original/big.txt:
PeterNorvigがスペル修正プログラムのP©の部分。100万語からなる大きなテキストファイル。

spell_j.py:
日本語対応版、まだ未完成です（正常に動作していません）。

big_j.txt:
P©の部分。今は青空文庫からドグラ・マグラのみを使用。big.txtや他の小説やテキストをもっと入れる。

Purpose(目的):

PeterNorvigのスペル修正プログラムを元に、日本語対応版の開発をします。

Requirements:

Python2.7
MeCab, MeCab IPA辞書
mecab-python

How to Use(使い方):

Idea Behind This(考え方):

References:

スペル修正プログラムはどう書くか
スペルミス修正プログラムを作ろう
MeCab品詞ID一覧

spell-collect's Issues

Nグラムインデックスを用いて、修正候補を絞り込む

PeterNorvigのスペル修正プログラムではアルファベット前提で作られている。
edits1の削除と転位は日本語でも出来るが、置換と挿入はひらがな・カタカナ・漢字には対応出来ない。

この代わりに、Nグラムインデックスを用いて修正候補を絞込み、修正距離を計算する様にする。

big.txtを読み込むとparseToNodeがNoneになる

spell_j.pyでbig.txtを読み込むと、parseToNodeがNoneになる。
big_j.txtは正常にオブジェクトが生成される。