词库2.3G导致64G机器不够用 about gojieba

[yaokun123]

@yanyiwu

[yanyiwu]

哦，用法应该没啥问题，看来你这个词库数量级可能确实64G不够。。。

[yaokun123]

@yanyiwu 好的，感谢🙏

[yaokun123]

你好，有没有什么解决方案？比如能否牺牲一些性能来满足内存

…

------------------ 原始邮件 ------------------ 发件人: "Yanyi Wu"<[email protected]>; 发送时间: 2019年9月23日(星期一) 晚上11:42 收件人: "yanyiwu/gojieba"<[email protected]>; 抄送: "嫁莪! 佷緈鍢"<[email protected]>;"Author"<[email protected]>; 主题: Re: [yanyiwu/gojieba] 词库2.3G导致64G机器不够用 (#55) 哦，用法应该没啥问题，看来你这个词库数量级可能确实64G不够。。。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or mute the thread.

[yanyiwu]

建议是清理一下词库，看上去是词库建设不太合理。

[yaokun123]

词库的词是公司名称，后面的词频和词意都是固定的2 n 这种词库优化方向是啥？

…

------------------ 原始邮件 ------------------ 发件人: "Yanyi Wu"<[email protected]>; 发送时间: 2019年9月24日(星期二) 晚上11:56 收件人: "yanyiwu/gojieba"<[email protected]>; 抄送: "嫁莪! 佷緈鍢"<[email protected]>;"Author"<[email protected]>; 主题: Re: [yanyiwu/gojieba] 词库2.3G导致64G机器不够用 (#55) 建议是清理一下词库，看上去是词库建设不太合理。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or mute the thread.

[mmcer]

第一步，将你的词库 5千万的数量级，分割为好几次处理，例如分为 500 个文件，那么每次就需要处理 10 万行。
第二步，将处理后的结果去重。

或者直接采用流的方式打开文档，每次读取一行然后分词处理。