HTCの明日はどっちだ

VIVEはグラボ低価格化で一気に盛り上がってるタイミングで店頭販売。

日本だとルームスケールがそれほどアドバンテージではないけど、PSVR前に自作パソコン世代のおっさん を狩ることはできそうだ。

問題はソフト。そこでPSVRがさらっていく。

HTCはビジネス向けを視野に入れてるだろうがそこはホロレンズがいる。

認知症介護支援のための予測サービス

何がissueか


* 徘徊しないようにとか、誤嚥しないようにとか、２４時間みまもるのはたいへん
* それやってたら働けない
    * ヘルパーさんはものすごくお金がかかる
    * ヘルパーさんのあたりはずれも大きいが、評価のものさしが無いので困る
* それやってたら精神を病む。
    * 家族であると、それ以前とは「違う人」なので落差に常に悩むことになる

何が解決策か？


危険なことさえさせなければいい

* ゾーニング（まぁ普通に誰でもやる）
    * 行ってはいけない領域にセンサー（行動範囲内部）
    * 居て欲しい領域から消えたらアラート

* 行動パターンからずれ始めたとき、危険な行為に及びそうな前触れを検知したらアラーム
    * 行動計画を立てておいて、意図的な外出などを監視から除外する
    * ヘルパーさんが近くにいればアラートは立たない。ただし行動パターンはモニターする。
* 生体信号からストレスを計測して、それが異常行動の引き金となっていないかをモニターする
    * 合わないヘルパーさんをスケジュールからはずして様子の変化を見る



解決策の中で何ができるか？他のパートは実現可能性があるか？なければ丸抱え？


* 生体信号のモニタリング
    * 心拍、呼吸、体温
    * 本当は眼鏡にカメラ仕込んで視線トラッキングしたい。
        * 何を見ているかは行動に先立つ指標になるかもしれない

* 行動の平常パターンの認識と異常検知
    * NumentaのHTMでやってみたい
        * 課題：何を数値化してとりこみ、どの程度のサンプルレートにするかは課題）

* 行動パターンの予測
    * カメラの動画から個人を特定（まぁなんとかなる、、かな）
    * 特定された個人の動作を個々のステップに分解して認識（ここは難しい）
    * 行動のシーケンスを学習（HTMは得意）
    * 学習ずみのシーケンスの一部から後続を予測（HTMは得意）

勝算は？


* もともと大変お金がかかる領域だから、お金を支出する側のハードルは低い
* 認知系の研究として資金も出ているだろう
    * 逆にそれが新規性がないとして研究としては予算が付きにくいかもしれないが

最大のハードルは？


* ~~解決策が思いつかない~~
    * ~~危険行為と判別すること~~
        * 行為を学習して、逸脱を検知したり、危険行為につながる前段階を検出
    * ~~危険行為に及ぶ前に止める方策~~
        * アラートで対応。できるだけ余裕のあるときに出したい。
* 行為の認識で、ステップにどう区切るか
    * だらだらシーケンスを学習させて、そこから有限の区切りある行為が立ち上がって来る、というのは無視が良すぎる
    * 視線トラッキングや生体信号（加速度センサなど）のデータまでぶっこめばanomalyはわかるかもしれないが、自信なし。
* 生体信号からストレスの分析をどうするか
    * 研究は山ほどあるだろうけど、絞り込みしないと事業のメニューにはしにくい。
        * 余計な期待をさせると満足度が下がる
        * コストがかさむ
        * 分析のノイズになる可能性がある
    * それでも最初はみんなとって、行動予測への寄与をswarming optimizationの過程で数値化すればいいのかもしれない

なぜ新皮質は６層「も」あるのか

脳 HTM 認知

HTMのJeffの説明を読んでいて、大脳新皮質の「６層」構造が複雑すぎるような気がしてきた。

周囲の感覚器や小脳などとの配線だけが複雑で、オリジナルのHTMのコラム以上の複雑さは必要ないのではないか？

遺伝子の進化のあとを辿ると新皮質の原初の形態や、なぜここまで肥大化したのか（遺伝子の重畳が原因かと思う）についての研究があるはずで、それが知りたい。

原初はsensori-motorとシーケンスの記憶（多分、これがのちのシンボル記憶につながる新皮質の根源的な新しさ）がからみあったもので、sensori-motorの方は旧脳の複雑さを引きずっているのではないか？
で、sensori-motorの方は小脳にほぼコピーがあるはずで、そことの協働とoverrideの関係とか、かなり複雑なのではないかと思う。

最終的にはすべてHTMのオリジナルのシンプルなTM(temporal memory)の階層構造でやれるけれど、旧脳の関与がじわじわと染み込んでくる過程がJeffの説明したかったsensori-motorのところなんだろうな。と思う。

そしてfeed forwardで記憶から制御する反応の良さが旧脳をoverrideして淘汰に打ち勝つ要因になったのではないかしら？

原理的には小脳や脊髄をセンサーとアクチュエータとして単純化して、新皮質もSP（空間プーリング）とTP（時間プーリング）だけに単純化しても同じような認知機能のものは作れる気がする。

意識を理論化しようとしている人たちはそっちに行き着くのではないかな。

深層学習がすごいとか、人工知能は難しいという人は問題を見る方向が間違っているのではないか

与太話 認知

人間とその脳は、できることをやっているにすぎない。


認知可能な組み合わせを分別しているにすぎない

脳に全く異なる構造から発生したデータを与えても全く理解できないはずだ。
生まれた時から盲目だった人に目から信号を与えた時よりも絶望的だ。

人間に知能がある、というのは、そう感じるというだけで、知能が存在しているわけではないのだ。
「人間に知能がある」という知覚現象、だけが真実だ。

https://twitter.com/ocaokgbu/status/743620044567896064

人間に知能がある、というのは、そう感じるというだけで、知能が存在しているわけではないのだ。 正確には、知能が実在することを担保するわけではないのだ。か。 「人間に知能があると感じる」という知覚現象、だけが真実だ。 知能について考える時、この方向から切り込むのが本流になるべき。

では知能とか心とか命とか意識とか自由意志とかいう言葉はタブーとすべきなのだろうか。 多分それらは社会的生活を送る上で非常に有効なので、捨てる必要はないだろう。 宗教のようなものだ。信念の集合。行動に影響を与えうる脳内で永続的なコンテキスト。

 

yet another 知性（があるように見えるもの）として何が本当にやるべきことなのか？　→創発的な行為

aha!をどうやって起こすか？

それは、概念のつながりを見出すこと。

つながり？

Sparse codedなパターンとして概念が表現されているとして、
これまでつながりがなかった２つの概念について、非常に強い相関が現れるコンテクストをなんども経験することによって、そのコンテクストと２つ（以上）の概念を結びつける経路が強化されて、安定して再現可能になる。（記憶として想起され、他のパターンの構成要素になる）

つながりのtemplateとしてはこんな感じだろう。いや、普通に基本的な論理を並べておけばいいのかもだけど。

  • 同じだ
  • 変換可能である
  • 逆だ
  • 演算可能である（同じ型を持つか、型のパターンがマッチする演算が存在する）

VR infrastructure and standalone hybrid system

VR 思考の流れメモ IoT cloud

https://twitter.com/ocaokgbu/status/741302012050972673

・LighthouseとTouch

・StreetView（iBeacon付THETA cloud)がインフラとして普遍的に存在)とHololens/Tangoのデプスカメラ

 

いずれも相補的だと思うのだ。インフラ整うとwareableデバイスの負荷下がって小型化、はあるかしら。

なんつーか、室内にTHETA4本置いてVIVEのlighthouse置いたらホロレンズの空間認知って無駄すぎる、、と感じたのだよな。。。 TouchもトラッキングはVIVEのコントローラを肘にくくりつけたらしまいやん。

現状、ハイブリッドにするのはコスト上がりすぎ、ってのはわかるけど、先進的ハードのコストって１桁下がることもまれではないから、倍のハードで済むなら、通常は効率良いインフラに頼って、非常時だけスタンドアローンな機能に頼ることでバッテリーライフ伸ばすとか。アリかな？

Aha!ではHTMでは何が起こっているのか

もともとの問題意識

シンボル演算ならNeumannマシン強いよな。では数学をNeumannマシンは創造できるのか？

現状、それは難しい。
なぜ？
創発的な活動ができない。というかそういうアルゴリズムが知られていない。

 

じゃぁ、脳、というかHTMで創発って何が起きてることになるの？


よく言われるのは、つながりができる、ということ。
シナプスができる、強化される、ということ？それは普通の学習と何が違う？
なにかとなにかが同じ、だから、、似ているから、結びつく、のだろうか？
sparse codingだと、偶然似てしまう、ということは考えにくい。
似ている、、、実生活では、よこすべり、だじゃれ、言い間違い、、
これをHTMで何をおこせばいいのか？

 

HTM的に似ている、ということは、contextを形成するものがほぼ一緒である、、、つまりcontextを共有している。
１つの活性化樹状突起でいえば８つのシナプスが同時に活性化すると発火するわけだから、空間的poolingの影響がないくらい遠いニューロンどうしでこの８つのシナプスを共有していれば可能性はある。
しかし、１つの樹状突起に集まって来るのは、そもそもが空間的に近いものである可能性が高い（これどうやってHTM的に実装するかといえば、同じregion内部から飛んでくる場合は一つの樹状突起にくっつくシナプス結合する、、というぐらいか）

このあたりは

Why Neurons Have Thousands of Synapses, a Theory of Sequence Memory in Neocortex

に詳しい。

遠くのニューロンからのシナプス結合はコンテクストとして「発火一番乗り」を支援するだけである。しかし、コンテクストがあれば、多少ノイズがあってもそれが選ばれて、発火して、結合が強化されて、、というループは起きうる。

そして、いつも同期して発火するいくつかの概念グループが別のリージョン上で発火を起こす。。。それが「Aha!」

だから、Aha!というのは、すでにものすごくコンテクストができていて、明示的に接続というか別ステージでの発火が起き、トップレベルまでそれがエスカレーションされた瞬間、なんだろう。ものごとは識閾下ですすんでいて、新しい発火を手繰ってみたら、２つのこれまで関係ないと思っていたものが同時に発火していた、、というやつ。

 

追記：これってHTMの基本動作だよな、、、

高位のregionでの発火って、こうやって起こるようになる。

概念形成の瞬間はいつもAha!なんだよ。

 

 

HTM unresolved hard problemsのビデオをざっと見た

以下はそのメモ。


https://www.youtube.com/watch?v=gXP-63sZM_o
presented by Jeff Hawkins (numenta.com)

numentaはBiological Brain structureからのボトムアップと、知能の機能面の両方からアプローチしてるユニークな団体である

ただ、どちらか、特にbiologicalな側面を完璧に解き明かさずともNLP(自然言語処理)やIoTの異常検知には十分であろう。

脳の進化の過程と新皮質

爬虫類reptile

  • エピソード記憶（意識）：海馬
  • 感情、複雑な行動の部分を成す基本的行動：中脳（小脳）
  • 自動的、不随意の行動（呼吸など）：脳梁を経由した活動
  • 反射的行動：脊髄

進化しても、機能の変化は少ない。もともとあった機能はもともとあった部位で、、、が多い。はず。

哺乳類mammals

  • エピソード記憶（意識）：海馬
  • 万能で学習可能な感覚ー身体の働き、世界のモデル化(mirror neuron)：新皮質
  • 感情、複雑な行動の部分を成す基本的行動：中脳（小脳）
  • 自動的、不随意の行動（呼吸など）：脳梁を経由した活動
  • 反射的行動：脊髄

新皮質自体も階層的構造を持つ

  • 一つの層はregionと呼ばれる（実際にはtreeのようになっている）
  • sensor-motor-worldモデルの階層が双方向（階層の上下）に繋がっている。
  • 視床(thalamous)ともループを形成している
  • 新皮質全体で共通の(universal)algorithmに従って動いている。

Numenta, HTMがbiologicalにbottom upだというのは、

  1. この新皮質の構造、機能(repeating unit of cortex)をreverse engineeringしたものをソフトウェアで再現しようとしている。
  2. 新皮質と脳の他の部位との相互作用についてもリバースエンジニアリングしようとしている
  3. この部分をよく理解すれば、認知の数多くの応用を生み出すことができるはず。

２。の部分についてはみなさんに任せよう。なんていうセリフが出てくる。彼にはエンジニアとして一番おいしいところ（シンプルで解析容易だが巨大な機能をカバー）がどこか見えているからこういう話になるのだろう。

彼はここで強調する。この脳の仕組みを再構築する必要はない。得た知見を応用すればいいんだ、と。

新皮質のregionの構造について

６層になっていて、大別すると２つのレイヤーが存在する。

  • 下位からの情報を上位に伝えるfeed forwardの経路（layer 2/3, 4)
  • 上位からの影響を受けるfeedbackの経路(layer 5,6)


４層にはデータが入ってくる。そして推論infernce(sensori-motorについて)を行う。

  • sensor data　（視聴覚情報）→これは2/3層へ転送される
  • copy of motor commands（運動するための筋肉司令のコピー。本体は脊髄を通って筋肉に伝わる情報）→これが４層で処理される。

４層に入ったデータは2/3層へ伝わり、その過程でまた推論が起きるが、この場合は感覚情報が使われる。

2/3層の状態はより高位のregionへと伝えられる。

５層ではその状態を運動Motorに反映される。５層からは運動中枢に直接伝わるか、視床を経由して伝えられていく。この信号はある程度の時間遅れを伴って新皮質へと帰ってくることでループを形成するようだ。
（なんで経路が分かれているかって？知りません、と、彼は言う。）

６層の状態はAttention（予測、潜在的制約）として下位のregionに伝わる。認知のframeを形成していることになる。


で、この構造ってのは普通の深層学習やニューラルネットワークより複雑である。でも、roadmapとしての見通しは直観に訴える。（でしょ？）

ただし、それぞれの層の入力や出力は部分的にしかわかっていない。そして、各層がどのように相互作用しているかもよくはわかっていない。

HTM temporal memory

以前はCLA(cortical cellular layer)と呼ばれていた。
以下のような要件を新皮質のrevese engineeringの過程で洗い出した。

  • Distributed high-order sequence memory (分散処理で高次に階層化されていて、任意のシーケンスを記憶できる）
  • 複数の予測（可能性の動的ポテンシャル）を並列に表現
  • 学習の規則はローカルで処理できる
  • データの欠損やノイズに対して頑健である
  • モデルのパラメータが多少変化しても問題なく機能する。
  • 予測と動作シーケンスの生成のいずれにも使える

鍵となる洞察

  1. HTMは知的システムの中核を成す
  2. 知的な機械は多様なHTMの組み合わせになる

Don't understoods

生物学的にまだわかってないこと

リージョンで表現できることはわかった、ではつながりtopologyは？

  • それらはどんなtopologyでつながっているのか？
    • full meshなのか？そんなことはない。
  • どのようにつながりが変化していくのか？
    • 進化の過程でどのように変化してきたか
    • 発生的にどのように変化するのか
    • 学習によってつながりが変化するのか

情報の伝達経路がたくさんある

  • 複数の経路の果たす役割、、、詳細は、わかっていない
    • 視覚情報が複数の部位に伝わっていき、最終的に知覚として焦点を結ぶが、、なぜそうなのか、、そ唸るのはなぜか、わかっていない。
  • なんで複数あるのか。その意味は、、、わかっていない

視床とのつながり

  • なんでForwardの経路が視床を通過するのか、そして、通過しない経路があるのはなぜか？わからない。
  • 視床が注意に関係あるという予測は立てているが、その仕組みは生理学的にはわかっていない。論文は山ほどあるけど。

認知の機能からtop downで考えるときにまだわかっていないこと


sensory-motor の推論(inference) 行動の組み立て

  • 部分的にはわかってきているし、検証もされている
    • 実際の応用でさらに検証されるべき
    • 運動一般の脳の機能と新皮質の協働はどうなっているかまだよくわかっていない。爬虫類も運動はしてた。

運動の組み立てmotor generation

  • メカニズムはわかってきている。
    • 強固な理論的枠組みがまだ
    • 強化学習が必要である

注意について

  • メカニズムはよくわかっていない。意識の問題として研究は盛んだが。
  • 運動の理論がちゃんとできてて、それの司令部分としてインターフェースが決まってくるので、それ待ちでもある

タイミング

  • 感覚情報は時間的に連続して流れこんでくるが、けんちできないような時間間隔というものもある。
  • センサー情報や運動指令のクロックサイクルってどうなっているの？