HTM unresolved hard problemsのビデオをざっと見た

以下はそのメモ。


https://www.youtube.com/watch?v=gXP-63sZM_o
presented by Jeff Hawkins (numenta.com)

numentaはBiological Brain structureからのボトムアップと、知能の機能面の両方からアプローチしてるユニークな団体である

ただ、どちらか、特にbiologicalな側面を完璧に解き明かさずともNLP(自然言語処理)やIoTの異常検知には十分であろう。

脳の進化の過程と新皮質

爬虫類reptile

  • エピソード記憶（意識）：海馬
  • 感情、複雑な行動の部分を成す基本的行動：中脳（小脳）
  • 自動的、不随意の行動（呼吸など）：脳梁を経由した活動
  • 反射的行動：脊髄

進化しても、機能の変化は少ない。もともとあった機能はもともとあった部位で、、、が多い。はず。

哺乳類mammals

  • エピソード記憶（意識）：海馬
  • 万能で学習可能な感覚ー身体の働き、世界のモデル化(mirror neuron)：新皮質
  • 感情、複雑な行動の部分を成す基本的行動：中脳（小脳）
  • 自動的、不随意の行動（呼吸など）：脳梁を経由した活動
  • 反射的行動：脊髄

新皮質自体も階層的構造を持つ

  • 一つの層はregionと呼ばれる（実際にはtreeのようになっている）
  • sensor-motor-worldモデルの階層が双方向（階層の上下）に繋がっている。
  • 視床(thalamous)ともループを形成している
  • 新皮質全体で共通の(universal)algorithmに従って動いている。

Numenta, HTMがbiologicalにbottom upだというのは、

  1. この新皮質の構造、機能(repeating unit of cortex)をreverse engineeringしたものをソフトウェアで再現しようとしている。
  2. 新皮質と脳の他の部位との相互作用についてもリバースエンジニアリングしようとしている
  3. この部分をよく理解すれば、認知の数多くの応用を生み出すことができるはず。

２。の部分についてはみなさんに任せよう。なんていうセリフが出てくる。彼にはエンジニアとして一番おいしいところ（シンプルで解析容易だが巨大な機能をカバー）がどこか見えているからこういう話になるのだろう。

彼はここで強調する。この脳の仕組みを再構築する必要はない。得た知見を応用すればいいんだ、と。

新皮質のregionの構造について

６層になっていて、大別すると２つのレイヤーが存在する。

  • 下位からの情報を上位に伝えるfeed forwardの経路（layer 2/3, 4)
  • 上位からの影響を受けるfeedbackの経路(layer 5,6)


４層にはデータが入ってくる。そして推論infernce(sensori-motorについて)を行う。

  • sensor data　（視聴覚情報）→これは2/3層へ転送される
  • copy of motor commands（運動するための筋肉司令のコピー。本体は脊髄を通って筋肉に伝わる情報）→これが４層で処理される。

４層に入ったデータは2/3層へ伝わり、その過程でまた推論が起きるが、この場合は感覚情報が使われる。

2/3層の状態はより高位のregionへと伝えられる。

５層ではその状態を運動Motorに反映される。５層からは運動中枢に直接伝わるか、視床を経由して伝えられていく。この信号はある程度の時間遅れを伴って新皮質へと帰ってくることでループを形成するようだ。
（なんで経路が分かれているかって？知りません、と、彼は言う。）

６層の状態はAttention（予測、潜在的制約）として下位のregionに伝わる。認知のframeを形成していることになる。


で、この構造ってのは普通の深層学習やニューラルネットワークより複雑である。でも、roadmapとしての見通しは直観に訴える。（でしょ？）

ただし、それぞれの層の入力や出力は部分的にしかわかっていない。そして、各層がどのように相互作用しているかもよくはわかっていない。

HTM temporal memory

以前はCLA(cortical cellular layer)と呼ばれていた。
以下のような要件を新皮質のrevese engineeringの過程で洗い出した。

  • Distributed high-order sequence memory (分散処理で高次に階層化されていて、任意のシーケンスを記憶できる）
  • 複数の予測（可能性の動的ポテンシャル）を並列に表現
  • 学習の規則はローカルで処理できる
  • データの欠損やノイズに対して頑健である
  • モデルのパラメータが多少変化しても問題なく機能する。
  • 予測と動作シーケンスの生成のいずれにも使える

鍵となる洞察

  1. HTMは知的システムの中核を成す
  2. 知的な機械は多様なHTMの組み合わせになる

Don't understoods

生物学的にまだわかってないこと

リージョンで表現できることはわかった、ではつながりtopologyは？

  • それらはどんなtopologyでつながっているのか？
    • full meshなのか？そんなことはない。
  • どのようにつながりが変化していくのか？
    • 進化の過程でどのように変化してきたか
    • 発生的にどのように変化するのか
    • 学習によってつながりが変化するのか

情報の伝達経路がたくさんある

  • 複数の経路の果たす役割、、、詳細は、わかっていない
    • 視覚情報が複数の部位に伝わっていき、最終的に知覚として焦点を結ぶが、、なぜそうなのか、、そ唸るのはなぜか、わかっていない。
  • なんで複数あるのか。その意味は、、、わかっていない

視床とのつながり

  • なんでForwardの経路が視床を通過するのか、そして、通過しない経路があるのはなぜか？わからない。
  • 視床が注意に関係あるという予測は立てているが、その仕組みは生理学的にはわかっていない。論文は山ほどあるけど。

認知の機能からtop downで考えるときにまだわかっていないこと


sensory-motor の推論(inference) 行動の組み立て

  • 部分的にはわかってきているし、検証もされている
    • 実際の応用でさらに検証されるべき
    • 運動一般の脳の機能と新皮質の協働はどうなっているかまだよくわかっていない。爬虫類も運動はしてた。

運動の組み立てmotor generation

  • メカニズムはわかってきている。
    • 強固な理論的枠組みがまだ
    • 強化学習が必要である

注意について

  • メカニズムはよくわかっていない。意識の問題として研究は盛んだが。
  • 運動の理論がちゃんとできてて、それの司令部分としてインターフェースが決まってくるので、それ待ちでもある

タイミング

  • 感覚情報は時間的に連続して流れこんでくるが、けんちできないような時間間隔というものもある。
  • センサー情報や運動指令のクロックサイクルってどうなっているの？