azu / kuromojin Goto Github PK

It makes fast on large file parsing.

https://nodejs.org/api/path.html#path_path_join_paths
https://github.com/takuyaa/kuromoji.js/blob/71ea8473bd119546977f22c61e4d52da28ac30a6/src/loader/DictionaryLoader.js#L51
After path.join, "https://" becomes "https:/" and causes 404 error in a browser.

In my use case, I use kuromojin in a web application and this results in "https://cdn.example.com/dict" to be "https://myapp.com/cdn.example.com/dict"and getTokenizer cannot find the dict files.

From textlint-ja/textlint-rule-max-ten#16 (comment)

Currently, getToknizer just return kuromoji.js object.
Instead of it, we want to wrap the tokenize and tokenizeSentence with LRU cache.

cc @k-tahiro

kuromoji.js 0.1.2 has a breaking change.

• takuyaa/kuromoji.js#16

We will update [email protected] → 0.12 as major update kuromojin@3.

After that, we need to update textlint rules that depended on kuromoji@2.
Some rules are broken and we need to fix it!

If you want to help us, please comments!

アップデートのPRを手伝ってくれる人は、どれをやるとかのコメントお願いします。

Plan

1. Release kuromoji@3 that use kuromoji.js 0.1.2
2. Update all dependant rules - migrate kuromoji@2 to kuromoji@3

• If no effect, publish as a minor updates
• Publish as major updates

3. Update all presets

Need to update rules

• textlint-ja/textlint-rule-max-ten: textlint rule that limit maxinum ten(、) count of sentence. @azu
  • https://github.com/textlint-ja/textlint-rule-max-ten/releases/tag/v4.0.0
• textlint-ja/textlint-rule-no-double-negative-ja: 二重否定をチェックするtextlint rule @azu
  • https://github.com/textlint-ja/textlint-rule-no-double-negative-ja/releases/tag/v2.0.0
• textlint-ja/analyze-desumasu-dearu: 文の敬体(ですます調)、常体(である調)を解析するJavaScriptライブラリ @azu
  • textlint-ja/textlint-rule-no-mix-dearu-desumasu: textlint rule that check no mix である and ですます.
  • https://github.com/textlint-ja/textlint-rule-no-mix-dearu-desumasu/releases/tag/v5.0.0
  • analyze-desumasu-dearu v5.0.0
• textlint-ja/textlint-rule-morpheme-match: 形態素解析結果のTokenベースの辞書でマッチするtextlintルール
  • https://github.com/azu/morpheme-match is library
• textlint-ja/textlint-rule-ja-no-abusage: よくある日本語の誤用をチェックするtextlintルール
• textlint-ja/textlint-rule-no-insert-dropping-sa: サ抜き、サ入れ表現の誤用をチェックするtextlintルール
• textlint-ja/textlint-rule-ja-no-successive-word: 同一の単語を間違えて連続しているのを見つけるtextlintルール @bizen241
• textlint-ja/textlint-rule-ja-no-redundant-expression: 冗長な表現をチェックするtextlintルール @azu
• textlint-ja/textlint-rule-no-dropping-i: い抜き言葉をチェックするtextlintルール @azu
• hata6502/textlint-rule-ja-no-orthographic-variants: 表記ゆれをチェックするtextlintルール @hata6502
• hata6502/textlint-rule-ja-no-inappropriate-words: 不適切表現をチェックするtextlintルール @hata6502
• hata6502/textlint-rule-no-hoso-kinshi-yogo: 放送禁止用語をチェックするtextlintルール @hata6502
• textlint-ja/textlint-rule-no-dropping-the-ra: ら抜き言葉をチェックするtextlintルール @bizen241
• textlint-ja/textlint-rule-no-doubled-joshi: 文中に同じ助詞が複数出てくるのをチェックするtextlintルール @azu

📝 azu/migrate-travis-ci-to-github-actions: Migrate Travis CI to GitHub Actions. Node.js CI settingsを使ってTravis CI → GitHub Actionsもあわせてやるかも。

壊れたルールの例。

https://gist.github.com/azu/8f4435141a5eefe9dcce41a3652ede0b