bojone / nlp-zero

基于最小熵原理的NLP工具包

nlp-zero

基于最小熵原理的NLP工具包

https://kexue.fm/archives/5597

nlp-zero's Issues

源码问题

line 483中 ws 是否因为 sent

这是我的dubug信息

有些词好像没分开，会影响到词性标注，句法分析之类的任务吗？要怎么处理？

['花呗', '在美团', '支付', '成功', '了', '为什', '钱', '已经扣', '了', '交易', '却没有', '显示未', '支付']
['上', '个月', '花呗', '除', '小蓝', '押金', '我', '还完了', '，', '怎么', '解决', '小蓝', '押金', '的', '问题']
调整min_proba=1e-7, min_pmi=1之后，把第二句分开了，但是第一句的 已经扣 显示未，好像没有分好，要怎么处理呢？会影响到后续的任务吗？分词的算法是按照词的统计信息，找到最优路径进行分词的吗？有什么更好的办法吗？

运行卡死了

貌似陷入死循环了，能上传一份测试代码和测试数据吗

should add the encoding="utf8" when read path_or_trie or it will report error

should add the encoding="utf8" when read path_or_trie or it will report error,please check!