kuromojiで謎のアラビア文字のようなものがコンソールに出力されるのを直す about biq-data-backend

[ryota-murakami]

正規表現こうしたらなおた
[¥¥u3040-¥¥u309F]+はもともと日本語があるか？だけチェックしているからタイ語やアラビア語を弾く機能はそもそも無かった
明らかに日本語が含まれていないツイートもマッチしていたような気がするが...時間が無いので深くは追わない

//            val japanese_pattern : Pattern = Pattern.compile("[¥¥u3040-¥¥u309F]+") //「ひらがなが含まれているか？」の正規表現
            val japanese_pattern : Pattern = Pattern.compile("^[ぁ-んァ-ヶーa-zA-Z0-9一-龠０-９、。\n\r]+$") //「ひらがなが含まれているか？」の正規表現
            if(japanese_pattern.matcher(tweetText).find()) {  // ひらがなが含まれているツイートのみ処理