yu-ya4 / exsim Goto Github PK

WHY

使いにくい．
毎回困る．

WHAT

とりあえず良い感じに関数にまとめる．
なんか実験用のクラス作るかも．

WHY

学習の方法間違っていたっぽい？

data = word2vec.Text8Corpus('../../data/docs/0918/reviews.txt')

Text8Corpusを使うべきではない？

WHAT

• 実際のところどうなのか調査
• word2vec.LineSentence()とか使う？

word2vecにおいて文書を学習する際に，ある語の周辺語を取得できるようにする．

WHY

• 「ちょっと飲む」の近くに「カウンター」や「バー」といった語は現れているのか？
• 周辺語によって行動を特徴づける
• 周辺語が似ていれば行動も似ていると言えるかも
• そのような文書をどうすれば取ってこられるのかを知りたい

WHAT

• 文書クラスを作成する
• ある語を引数として周辺語を返すメソッドを作成する
• windowサイズも指定
  • 周辺語の頻度
  • 指定した語からの距離によって重み付けは必要？
  • とりあえず周辺語からの距離は考えず同等とみなす

WHAT

• Document -> Documents
• self.document: list[str] -> self.documents: list[list[str]]

重み付けの方法が残念過ぎるので改変

とりあえず，文書を直接いじる方向で考える．