Coder Social home page Coder Social logo

mosasom / inappropriate-words-ja Goto Github PK

View Code? Open in Web Editor NEW
159.0 159.0 11.0 64 KB

日本語における不適切表現を収集します。自然言語処理の時のデータクリーニング用等に使えると思います。

License: MIT License

Python 100.00%

inappropriate-words-ja's People

Contributors

mosasom avatar nishihara-tm avatar

Stargazers

avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar avatar

Watchers

avatar avatar avatar avatar avatar avatar avatar avatar

Forkers

takotakot-archives isgasho ensan-hcl kyodocn s-sugawara-chowagiken tyo-yo nishihara-tm sayonari hu-taro- takaki1111 s-you

inappropriate-words-ja's Issues

注音符号を用いた不適切ワードの追加

注音符号（Wikipedia）という，主に**で使われる**語の発音記号があります。

ひらがな・カタカナに近い形の字が存在するため，それを利用して不適切ワードを回避するケースがあるようです。ただ，考えられる回避パターンが多数ありそうなので，網羅するのは難しいかもしれません。

似ている字の例

日本語 注音符号
エ ㆲ
く ㄑ
さ ㄛ，ㄜ
セ ㆤ，ㆥ
ち ㄘ，ㄎ，ㆶ
ヌ ㄡ
ム ㄙ
ろ ㄋ

不適切ワードの例

日本語 注音符号
ちんちん ㄘんㄘん，ちんㄘん
せっくす ㄝっくす，ㆤっくす
ヌく ㄡく，ㄡㄑ

UTF-16対応

一部伏せ字表現へ対応するために、UTF-16化することを予定しています

表示順に規則性を持たせたい

不適切な表現をまとめてくださりありがとうございます。

R18.txt 内の単語の表示順に規則性がないのが気になります。
例えば「ちんちん」「ちんこ」「ちんぽ」は近い位置にあると見やすいです。

文字コード順が望ましいと思ったのですが、そうすると「ちんちん」と「おちんちん」が遠い位置になるなどのデメリットもあるかもしれません。
個人的には「ちんちん」があれば「おちんちん」は不要だと感じたのですが、自然言語処理によっては必要なのでしょうか。

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.