ytakashina / htmresearch Goto Github PK

適当にモデル化したものは #30 で学習まで行えるようにしたが、
相互情報量を反映したモデルについてはまだなので、やる。

とにかく元々のHTMの論文に載っているやり方でどこまでいけるか

原論文に書いてはあるけどなんか微妙。
一応アイデアはあるのでそれを実装してみてうまくいくか試したい。

結局使えるようになってない
画像のパスの問題なので何とかする

staticメソッドを含むプロジェクトをリファレンスに加え、他のプロジェクトからusingしようとしても、うまく行ったり行かなかったりする。しかもその法則に全然規則性が感じられない。

非常に汚い
できればstaticメソッド群にしたい

ソフト割り当てという表現が適切か分かりませんが
c1からc5までへの帰属度がバイナリ値ではなく実数値として出るようにする

Level2以上でも離散化は必要か考える #53 で使う

#42 でも書いたが、データの素性を調べたほうがよいかもしれない。
とりあえずHTMでの多変量の外れ値検知をやってみてから。

掲示板に投稿した質問を再掲。

分かりづらいかもしれないんですが、以下はHMMのモデルを図示したものです。
この図で、観測がデータ点、隠れ状態がクラスタだと考えてください。
生成確率Gはクラスタの割り当てを示す行列です。

ここで、生成確率Gと、すべての時刻を通じての各観測値は既知とします。
このような状況において、隠れ状態の遷移確率Tを求めることを考えたいです。

もしクラスタリングがハードクラスタリングだったら、
観測が与えられればそれに対応するクラスタが必ず一つ決まるので、
それを数え上げれば上位のノードの遷移確率を計算することができました。

しかし、クラスタリングがソフトクラスタリングだった場合、
隠れ状態の遷移確率はそのように単純には求まりません。

このような場合に、正しく隠れ状態の遷移確率を求める方法はあるでしょうか？

一応、Gの疑似逆行列を計算すれば、行列計算で求まるのかなと思ったのですが、行列のランクが見かけより低いときに不安が残ります。

欠損値対応で汚くなった

NaNがあるとクラスタリングもできないし離散化もできない。
Sampling時に対応すればよいと思われる。

加えて、そういう場合に顕在化するであろう問題の整理。
特に多変量の場合に上の階層の遷移確率を学習させるのが大変そう。

一応長期的な目標。
ここまでやったら大目標を立て直す。

現在は以下のデータセットを使っているが、もっと有名なデータセットがあればそれを使いたい。

• Water Treatment Plant Data Set

動画(画像＋音声)でもいいはずなのでそれのベンチマークもないか検討。
あとはNASAのデータセットから何かいいのが探せないか……

いつかは必要だと思ってはいた。
「Level2以上でも離散化は必要か考える #53」で使うことになりそうなので、やる。

HTMに関してどこまでやるのかを決める。

現在(3/14)のプログラム

• ネットワーク構造はハードコーディング
• Temporal Poolingはハード割り当て
• Spatial Poolingはハード割り当て
• メモされた入力にしか対応していない

オリジナルの論文

• Temporal Poolingはハード割り当て
  • 上位のノードでメモする必要があるため、結局1-hotベクトルにする。
• Spatial Poolingはソフト割り当て
  • 学習時はメモしているので1-hotだが、推論時にはソフトになる
• 未知の入力にも対応している

単一のhtmlから見るデータを選んで見られるようにしたい

とりあえずハードクラスタリングなら数え上げで行けるはずなのでそれをやる。
ファジークラスタリングでうまくいくかは微妙。
行列演算でうまくいくと思っていたがランクが行列の大きさより小さいときに問題が起こりそう。
要検討。

以下のイシューに関連する調査

• TPでのクラスタ割り当てのファジー化 #31

時間的な予測の評価のために、予測値と実測値の相互情報量を出したりしていますが、今は離散値に丸めて相互情報量を出してしまっているので、連続な場合にも使える手法がないか調べたい。

下のサイトを見ると、連続値を離散化する方法と、何らかの分布を仮定する方法がある様子。
確かに正規分布を仮定したほうが、離散値に丸めるより数値のわずかなブレに柔軟に対応できるかもしれない。

http://d.hatena.ne.jp/m-a-o/touch/20130623/p1

今はNaNという値として使ってしまっているが、「NaNであること」と「情報がないこと(他のどんな値でもありうる)」は違うのでそれを反映した実装にすべき。

ネットワークの構成を考えるときに、相互情報量が高いノードからまとめていくとうまくいく気がする。

@herumi さんよりアドバイスいただいた内容に沿って書き換える。

C#的には
・double.NaN == double.NaNはfalseでdouble.NaN.Equals(double.NaN)はtrue
・listなどのIndexOfはEqualsを使って検索している
ことから、double[]にNaNが含まれているときにそれが見つかるのはOKだと思います。

ただ口頭でいいましたが、浮動小数点数の厳密比較をするのは避けた方がよいため、
if (fabs(a[i] - value) < 1e-6) { return i; }
のようなコードを作った方が安全だと思います。
欠損値もNaNではなく10^300のようなデータに含まれない十分大きな値としたほうがよいでしょう。
後者の理由はCPUによってはNaNを扱うととても遅くなることがあるため。

https://cybozulive.com/1_264054/gwBoard/view?bid=1%3A5080491&fid=28320366&focusOn=follow

これをやったときにどうやって遷移確率を計算するかも考える。

#62 の一環
それぞれの系列について閾値法を適用し、k個以上の系列で異常があったら全体としても異常として扱う

LeafNodeでtrainStreamとtestStreamを受け取れるように

いい感じに可視化する方法を考える。
Rのパッケージを参考にしてもいいかもしれない。

現在、メソッドに分離できる処理は可能な限り分離してきたが、DetectorForWTPやHTMDetectorクラスだけは非常に複雑なクラスになってしまっている。
プロトタイピングのため仕方ないと思っていたが、デバッグしづらい。
解決できる手段がないか考える。

kerasみたいにネットワークを楽にかけるようにしたい
このリポジトリは調査用と割り切ってad hocな書き方で通して、
使いやすさとかを考えるのはアルゴリズムが固まってから別のリポジトリを作ってやるべきかもしれない。

K-medoids法の実装 #65 に関係して
K-medoids自体必要ない説があるので必要になったらでよい

より親切な可視化の方法は #32 同様別リポジトリでやるにしても、
結果を分析するのに多変量の可視化は必要。どうやるか。

理論的には問題なさそう。
行列積で表現できる。

• 閾値法 #63
• 井手さんの Graphical lasso?

閉路(loopback)がある場合はそもそもベイジアンネットワークではないが、無向化したときに閉路が生じるような場合(multiply-connected)には確率伝播法は厳密には適用できない(つまりpolytreeでないと無理)。と思っていたが、出来る可能性もあるので、きちんとリサーチすべき。
HTMの原論文(Georgeの博論)でやられているやり方を完全には理解できていないのできちんと吟味すべき。
自分なりの閉路の解消方法も考えているのでそれも試したい

Level1の入力を32点まで離散化し、Temporal Pooling(遷移確率を類似度と見立てたクラスタリング)によって8つまでグループを減らしたとしても、Level2では6つノードの情報を統合するので、Level2への入力の場合の数は8^6通りとなり、空間が極めて広くなる。結果、遷移確率が以下のように極端にスパースなってしまった。

場合の数を減らすために、Level2以上でも、ハミング距離などを使った離散化をすべき。

およびWater Treatment Plantデータへの適用。
井手さんの本にも含まれている。
機械学習勉強会で発表したいかもです

#36 に書いただが、系列同士を相互情報量を基準としてAHCでクラスタリングすることで、HTMのネットワーク構造を決めるときのヒントを得られそう。
とくに凝集型階層的クラスタリングを使えばデンドログラムをそのままネットワークに使えそう。