liuhuanyong / wordsegment

Chinese WordSegment based on algorithms including Maxmatch (forward, backward, bidirectional), HMM，N-gramm(max prob ngram, biward ngam) etc...中文分词算法的实现，包括最大向前匹配、最大向后匹配，最大双向匹配，ngram，HMM，及其性能对比

WordSegment

Chinese WordSegment based on algorithms including Maxmatch (forward, backward, bidirectional), HMM etc...

项目介绍

1、MaxMatch：
dict.txt: 分词用词典位置
max_forward_cut：正向最大匹配分词
max_backward_cut：逆向最大匹配分词
max_biward_cut：双向最大匹配分词
result:
输入：我们在野生动物园玩
输出：
forward_cutlist: ['我们', '在野', '生动', '物', '园', '玩']
backward_cutlist: ['我们', '在', '野生', '动物园', '玩']
biward_seglit: ['我们', '在', '野生', '动物园', '玩']

2、HMM:
hmm_train.py:基于人民日报语料29W句子，训练初始状态概率，发射概率，转移概率
data:训练语料，放在 ./data/train.txt
model: 保存训练的概率模型，训练完成后可直接调用
trans_path = './model/prob_trans.model'
emit_path = './model/prob_emit.model'
start_path = './model/prob_start.model'

hmm_cut.py:基于训练得到的model，结合viterbi算法进行分词
输入：我们在野生动物园玩
输出：['我们', '在', '野', '生动', '物园', '玩']

3、N-gram
train_ngram.py:基于人民日报语料29W句子，训练词语出现概率，2-gram条件概率
data: 训练语料，放在 ./data/train.txt
model: 保存概率模型，训练完成后可直接调用
word_path = './model/word_dict.model' (词语出现概率)
trans_path = './model/trans_dict.model'（2-gram条件概率）
max_ngram.py: 最大化概率2-gram分词算法
biward_ngram.py: 基于ngram的前向后向最大匹配算法

4、算法比较
1、评测语料：微软评测语料，共3985个句子
2、性能比较

Algorithm	Precision	Recall	F1-score	Cost-Time
HMM	0.65	0.75	0.70	4.87
MaxForward	0.76	0.87	0.81	244.14
MaxBackward	0.76	0.87	0.81	280.61
MaxBiWard	0.76	0.87	0.81	443.23
MaxProbNgram	0.76	0.87	0.81	8.99
MaxBiwardNgram	0.74	0.86	0.80	3.96

wordsegment's Issues

这里很容易出现超出最小值 得到-Infinity

WordSegment/max_ngram.py

Line 49 in b048627

return math.log(1.0 / (self.all_freq ** len(word)))

楼主的HMM_train.py有问题吧？

在106行的样子，有一个
if char_list[i] not in emit_dict[line_status[i]]: #若当前词未出现在观测概率矩阵中，就将其加进来
emit_dict[line_status[i]][char_list[i]] = 0.0
#emit_dict[line_status[i]][char_list[i]] = 1.0——>已经由状态line_status[i]得到了观测char_list[i]，所以应该初始化为1.0才对
else:
emit_dict[line_status[i]][char_list[i]] += 1 # 用于计算发射概率

我觉得应该初始化为1.0才对吧

max_ngram问题请教

#计算转移概率
        Trans_dict = self.load_model(word_trans_path)
        for pre_word, post_info in Trans_dict.items():
            for post_word, count in post_info.items():
                word_pair = pre_word + ' ' + post_word
                self.trans_dict_count[word_pair] = float(count)
                if pre_word in self.word_dict_count.keys():
                    print(key)
                    self.trans_dict[key] = math.log(count / self.word_dict_count[pre_word])  # 取自然对数，归一化
                else:
                    self.trans_dict[key] = self.word_dict[post_word]

请问：self.trans_dict[key] = math.log(count / self.word_dict_count[pre_word]) # 取自然对数，归一化中为什么key是trans_dict的keys呀？

测试hmm例子的时候出现bug求告知