全天球環境画像は配信できるか？[WIP]

source

https://jingr.quip.com/e3eZAZ1MSIGR

inspired by

30Mbpsをどう圧縮するか http://panora.tokyo/4725/ より


圧縮しなければ、選択しなければ、という話に成っているが、そもそもは世界は1fpsも出ていないはずなのだ。

動いているのは視点なのであって、それはローカルにデータがある

視点＞表示までが30Mbps必要だということであって、リモートから30Mbps必要なわけではない。

スタティックなコンテンツならばリモートからの転送は0bpsなのだ

問題はリモートとインタラクションした時に起きる

テレイグジステンスによってリモートの世界に働きかけた結果を更新する場合にデータ転送をグローバルなネットを経由して行う必要がある。

まず遅延がある

欠落がある

結局、ある程度の時間が経過した時、givenな誤り率と帯域のメディアを通して得られる情報は極めて正確に見積もれる。そしてトレンドもだいたいわかる。

（To be suveryed）

だいたい5Gぐらいまでを視野に入れておけばいいと思う。

スペックは華々しいけれど、実際のところは「ハイパフォーマンスブラウザネットワーキング」 5.4節あたりが参考になるかな

足りない部分はどうするか

酔いを起こさなければいいのであれば、あたりさわりのないデータを低遅延で提供しておけばいい。
その後、確定した時に、これまで提供していた投機的情報との差分をとって対処する。
ある程度時間が経過したのちに、replayする場合は確定した情報に基づいてrenderingする
それで十分脳は快適なのではないか？
あたりさわりのない入力に対して、脳の内部にはいろいろな可能性を秘めた現状解釈パターンが共存可能であるけれど、その後特定のものが確定情報によって強化される結果として外界にフィットする「合理的な」記憶が残る。というモデル。

あたりさわりがない、とはどう言うことか

  • これまでと同じ状況
  • 自分の操作(manipulation)が理想的に効果を発した場合をシミュレーションして世界を変更

つまり

  • 世界のモデリング
    • 現状に存在するオブジェクトの一覧
    • 現状のオブジェクトの状態の確定値
    • 操作に対する変化分の推定値
  • 世界を変更するmanipulationのモデリング
    • 範囲の定義
    • 強度の定義（強度に対する変化分はオブジェクト側でモデルかされている）

一般的な対処

遅延について　https://en.wikipedia.org/wiki/Lag

 

結局物理エンジンが扱えるモデルと操作をやり取りするってだけですか

それが理想。

今カメラで送っているもののほとんどはテクスチャ。

でも、必要なのはインタラクションできるモデルなのだよ。

脳が取り込みやすいフォーマットというものがあるならば、それを満たすデータを圧縮してやり取りすればいい。
その時、欠落や遅延がどうとかいう問題をもう一度やらないか？

 

ゴーグルをして物理エンジンの環境に入るととても安心である、という実感

逆に360度動画の中でカメラに自分の眼が縛り付けられた時の不条理感は、、、問題かもしれない。

 

これ言っていいのかどうかわからないけれど、360度画像はそれだけでは実効的リアルではない

自分がインタラクションできない世界に閉じ込められてしまう。
それはTVや映画でいいのではないか、結局、首を振るのは別の場所に足を踏み出す予備動作なのだ。踏み出せること、手に取れることが実効。
逆にいえば、それができる世界はどんなに精細な画像、描写に勝る。

視力0.1でも我々は十分に生きられる。

白内障などの病変で視界が制限されていても生きていることを疑わない。