ku-nlp / text-cleaning

A powerful text cleaner for Japanese web texts

text-cleaning: A Japanese powerful text cleaner

Description

This project cleans dirty Japanese texts, which include a lot of emoji and kaomoji in a whitelist method.

Cleaning Example

INPUT: これはサンプルです(≧∇≦*)!見てみて→http://a.bc/defGHIjkl
OUTPUT: これはサンプルです！見てみて。

INPUT: 一緒に応援してるよ(o^^o)。ありがとう😃
OUTPUT: 一緒に応援してるよ。ありがとう。

INPUT: いいぞ〜⸜(* ॑꒳ ॑*  )⸝⋆*
OUTPUT: いいぞ。

INPUT: えっ((((；ﾟДﾟ)))))))
OUTPUT: えっ。

INPUT: 確かに「嘘でしょww」って笑ってたね
OUTPUT: 確かに「嘘でしょ。」って笑ってたね。

INPUT: おはようございますヽ(*´∀｀)ノ。。今日は雨ですね･････(T_T)
OUTPUT: おはようございます。今日は雨ですね。

INPUT: (灬º﹃º灬)おいしそうです♡
OUTPUT: おいしそうです。

INPUT: 今日の夜、友達とラーメン行くよ(((o(*ﾟ▽ﾟ*)o)))
OUTPUT: 今日の夜、友達とラーメン行くよ。

# When using the twitter option.
INPUT: @abcde0123 おっとっとwwそうでした✋!！よろしくお願いします♪‼ #挨拶
OUTPUT: おっとっと。そうでした！よろしくお願いします。

Requirements

• Python 3.7+
• mojimoji
• neologdn
• joblib

How to Run

Using python script directly

cat input.txt | python src/text_cleaning/main.py <options> > output.txt

Using makefile

When input files are located in directories hierarchically you can clean them keeping directory structure by using makefile. If input is compressed files, Makefile detect their format from their suffix and output cleaned files in the same format.

make INPUT_DIR=/somewhere/in OUTPUT_DIR=/somewhere/out PYTHON=/somewhere/.venv/bin/python

Options:

• FILE_FORMAT=txt: Format of input file (txt or csv or tsv)
• NUM_JOBS_PER_MACHINE=10: The maximum number of concurrently running jobs per machine
• TWITTER=1: Perform twitter specific cleaning
• PYTHON: Path to python interpreter of virtual environment

text-cleaning's Issues

dot "." is converted to punctuation "。"

To reproduce:

$ echo '直径1.5cm' | python src/main.py

Actual output:

直径1。

Expected output:

直径1.5cm

unexpected output 'お願いしますm(_ _)m' -> 'お願いしますm'

confusing suffix of output file

make all inherits input file suffix, such as .gz, even when output is not compressed.

Input is separated by "〆"

To reproduce:

$ echo "帰ってきたら新年会の応募が届いておりまして、〆切後に参加したくなって" | python src/main.py

Actual output:

帰ってきたら新年会の応募が届いておりまして。切後に参加したくなって。

Expected output:

帰ってきたら新年会の応募が届いておりまして、〆切後に参加したくなって。