Aha!ではHTMでは何が起こっているのか

もともとの問題意識

シンボル演算ならNeumannマシン強いよな。では数学をNeumannマシンは創造できるのか?

現状、それは難しい。
なぜ?
創発的な活動ができない。というかそういうアルゴリズムが知られていない。

 

じゃぁ、脳、というかHTMで創発って何が起きてることになるの?


よく言われるのは、つながりができる、ということ。
シナプスができる、強化される、ということ?それは普通の学習と何が違う?
なにかとなにかが同じ、だから、、似ているから、結びつく、のだろうか?
sparse codingだと、偶然似てしまう、ということは考えにくい。
似ている、、、実生活では、よこすべり、だじゃれ、言い間違い、、
これをHTMで何をおこせばいいのか?

 

HTM的に似ている、ということは、contextを形成するものがほぼ一緒である、、、つまりcontextを共有している。
1つの活性化樹状突起でいえば8つのシナプスが同時に活性化すると発火するわけだから、空間的poolingの影響がないくらい遠いニューロンどうしでこの8つのシナプスを共有していれば可能性はある。
しかし、1つの樹状突起に集まって来るのは、そもそもが空間的に近いものである可能性が高い(これどうやってHTM的に実装するかといえば、同じregion内部から飛んでくる場合は一つの樹状突起にくっつくシナプス結合する、、というぐらいか)

このあたりは

Why Neurons Have Thousands of Synapses, a Theory of Sequence Memory in Neocortex

に詳しい。

遠くのニューロンからのシナプス結合はコンテクストとして「発火一番乗り」を支援するだけである。しかし、コンテクストがあれば、多少ノイズがあってもそれが選ばれて、発火して、結合が強化されて、、というループは起きうる。

そして、いつも同期して発火するいくつかの概念グループが別のリージョン上で発火を起こす。。。それが「Aha!」

だから、Aha!というのは、すでにものすごくコンテクストができていて、明示的に接続というか別ステージでの発火が起き、トップレベルまでそれがエスカレーションされた瞬間、なんだろう。ものごとは識閾下ですすんでいて、新しい発火を手繰ってみたら、2つのこれまで関係ないと思っていたものが同時に発火していた、、というやつ。

 

追記:これってHTMの基本動作だよな、、、

高位のregionでの発火って、こうやって起こるようになる。

概念形成の瞬間はいつもAha!なんだよ。