現在,景観シミュレーションやデジタルアーカイブなど実環境と密接に関連するVR環境の要求が非常に大きくなってきている.特に実環境を積極的に用いたVR環境は,多岐に渡る利用可能な実環境入力装置により実環境から得られる多岐に渡る様々な用途やデータに対処するため,VR環境の膨大なデータ量の処理,必要とする操作など全てに対処する必要がある.一方,実画像からVR環境を構築できると期待されるIBR手法は,写真的リアリティの高いVR環境を構築できるものの画像が撮影された近傍でしか利用できない制限があり,利用者の品質や規模への要求を満たすものになっていないのが現状である.

　本論文は,実環境を積極的に用いたVR環境の構築するにあたり,体験者視点画像に基づき様々なVR環境の統合を行う手法の提案を行い実証している.個別に構築されたVR環境を一つのVR環境として統合することで,様々なデータ処理に対処できIBR手法の制約を受けないVR環境の構築手法を提案している.体験者の入力に対し,個別に構築したVR環境で体験者の視点の画像を生成し,生成画像を統合することでVR環境の統合を実現している.

VR環境の統合

　VR環境を構築するとき,従来のComputer Graphics(以下CG)の手法では移動可能な範囲全域にわたって正確な幾何形状モデルを構築する.その上でLevel of Detailと呼ばれる手法などを用いてリアルタイム性を維持している.しかしながら,写真の持つリアリティを実現するには精細な形状モデルや精細なテクスチャ画像を用意する必要があり,大規模な環境を構築するためには膨大なデータ量や処理が必要になる.

　一方,実写画像を積極的に取り入れることで高い品質と自由度を持つ空間を構築する手法として,Image-based rendering(以下IBR)と呼ばれる手法が検討されてきている.この手法を用いることで実写画像から新しい視点の画像を生成することができ,従来の手法では困難であった写真的リアリティの高いVR環境を生成することが可能になる.しかしながら,提示可能な視点の自由度の制限や,写真的リアリティを維持するには高いデータの精度が必要などの問題があり,広範囲を移動できるようなVR環境を構築するのは困難である.

　VR環境を構築するための基本的な枠組みは,図1に示すような構造を描くことができる.体験者にとっては,自分の行動に対しVR環境内の自分の視点からの画像が提示されればよく,従来のVR環境のシステムのようにひとつのVR環境として構築する必要は必ずしもない.本研究では,目的に応じたVR環境を個別に構築しVR環境ごとに管理・併用することで,視点に応じて世界の幾何形状モデルや画像だけではなく,座標系や操作系など様々なデータを動的に切り替えることを提案する(図2).

VR環境の統合手法

　個別に構築されたVR環境を一つのVRの環境として扱うには,視点移動に応じてVR環境が切り替わる際,体験者からみて視点位置やインタラクションが不連続にならないようにする必要がある.利用するデータなどが扱いやすい手法を用いるため,座標系やスケール,視点の記述方法などが大きく異なっている場合においても,切り替える各VR環境における体験者の位置は相対的に常に同期している.

　また,視点に応じてVR環境が切り替わる際,提示画像が不自然に切り替わったり複数のVR用いて提示画像を生成する際物体の前後関係などがおかしくならないようにする必要がある.特に使用するVR環境が利用するデータやレンダリング手法が大きく異なる場合があり,各VR環境の生成画像に重み付けを行うことで提示画像上でなめらかに切り替えることを検討した.また,各VR環境でレンダリング時に奥行き情報を取得し,合成する際に前後関係の判定を行うことで正しい画像を生成することを検討した.

　複数の異なるVR環境により生成された画像を同時に使用する場合,一つのVR環境として整合性をとるため生成画像に奥行き情報を持つ必要がある.本研究では,各要素VR環境で視点に応じて画像をレンダリングし,同時に奥行き情報も取得している.生成された奥行き情報を元に各画素の前後関係を判定し,各VR環境で生成された画像のどの色情報を使用するか決定する.また,複数のVR環境による生成画像の画素がほぼ同じ奥行き情報をもつ場合,信頼度の高いと思われるVR環境の情報を使用する.

　信頼度は,視点移動に伴いVR環境が提示する画像がどの程度実環境と乖離するかにより決定される.VR環境の構築手法の視点移動への制約は,図3で示すように,構築されるVR環境がどのように表現されているかに依存する.従来の手法では実際の物体に正確にモデル化しているため視点移動への制約は少なく,IBR手法は,図3に示すように,様々な近似を行い画像で代用する手法といえる.画像による近似面(本論文では基準面とする)と実際の物体との乖離が,視点から大きく見えるようになり信頼度が低くなるとできる.

　本論文では,個別に構築されたVR環境を一つのVR環境として管理し,上述のインタラクションの統合と提示画像の統合を行う環境マネージャを提案する(図4).まず,体験者の視点位置などに応じて,管理する各VR環境のうちマスターとなる環境を決定し,その環境のインタラクションに準拠して視点移動を決定する.また,他の環境に合わせて,マスターとなる環境の視点情報を変換し各々の環境に視点情報を送ることで全体の同期を行う.また,使用するVR環境の決定及び環境間の重み付けの算出も同時に行う.その上で,決定した視点位置を各VR環境に送り,生成画像を受け取る.最後に各環境で生成された生成画像及び奥行き情報をもとに,体験者に最終的に提示する画像の生成を行う.

プロトタイプシステム

　本研究では,提案手法の有効性を示すため,個別に構築した写真的リアリティの高い都市環境と地球規模のVR環境,さらに太陽系のシミュレーションモデルを用い,写真的リアリティの高い都市環境のもつ精細さと太陽系規模の移動範囲を併せ持つVR環境の構築の検討を行った.

　まず,実際に車載型画像収集システムを用いて取得された位置姿勢情報付き画像データを使用した都市VR環境の構築と,リモートセンシングデータや航空写真を用いて地球規模VR環境の構築を行った.提案手法では,IBRにより構築された移動範囲の制限される要素VR環境を統合することで,移動範囲の制限を回避できた.

　次に,提案手法に基づき,個別に実装したVR環境を環境マネージャにより統合したVR環境を図5に示す.この環境では,太陽系全体を外惑星軌道で見るようなマクロな視点から我々が普段見ている視点までをシームレスに移動可能であった.また,環境マネージャの変更のみで,没入型多面ディスプレイCABINの表示も可能であった.

　プロトタイプシステムでは,全く個別に作成したVR環境にもかかわらず,画像および奥行き情報をもとに合成した画像を体験者に提示することにより,各々の精細さ・移動範囲など様々な長所を併せ持つ一つのVR環境として統合することができた.各要素VR環境は全く異なる座標系やデータ,レンダリング手法を用いていたにもかかわらず,環境マネージャから要求される視点に応じた画像を生成すればよく他の環境を全く意識する必要がなかった.

　本研究では,VR環境を構築するためには体験者の視点・操作に応じて適切な画像を提示すればよいことに注目し,全く個別に構築された異種VR環境を画像ベースで統合することによる様々な用途やデータに対処可能なVR環境の構築を行なった.また,個別に構築されたVR環境を環境マネージャにより管理し,視点情報の同期,生成画像の統合を行う構造を提案しその有効性を示した.

　今後,新たな目的やデータなどを追加したい場合,環境マネージャから視点及び視野データを受け取り生成画像を返すVR環境を構築し付け加えることで対処可能である.また,VR環境がすでにある場合,入力部を環境マネージャからデータを受け取るように変更し画像の出力先を環境マネージャに渡すように変更するのみでよい.また,様々な提示装置に対応するには,各要素VR環境を修正する必要はなく環境マネージャにのみにディスプレイ情報や入力環境に関する修正を加えるのみで対応可能になると考えられる.

　本プロトタイプシステムでは,一つの計算機内で全ての要素VR環境に関わる処理を実行し統合を行っていた.各々のVR環境を分散して管理し実行することにより,データの記憶容量のみならず,実行時の計算負荷やレンダリング負荷をネットワーク上に分散することが可能となる.

　提案手法により,画像提示装置・入力インターフェースから,コンテンツの規模や精細さ,用途まで,極めて高いスケーラビリティと拡張性を持つVR環境を構築することが可能になると考えられる.

図1VRの枠組み

図2提案手法によるVR環境

図3VR環境構築手法

図4環境マネージャ

図5VR環境の統合によるプロトタイプシステム(CABIN)

　現在,景観シミュレーションやデジタルアーカイブなど実環境と密接に関連するVR環境の要求が非常に大きくなってきている.

　実環境を積極的に用いたVR環境は,多岐に渡る利用可能な実環境入力装置により実環境から得られる多岐に渡る様々な用途やデータに対処するため,VR環境の膨大なデータ量の処理,必要とする操作など全てに対処する必要がある.一方,実画像からVR環境を構築できると期待されるIBR手法は,写真的リアリティの高いVR環境を構築できるものの画像が撮影された近傍でしか利用できない制限があり,利用者の品質や規模への要求を満たすものになっていないのが現状である.

　本論文は,実環境を積極的に用いたVR環境を構築するにあたり,体験者視点画像に基づき様々なVR環境の統合を行う手法の提案を行い実証している.個別に構築されたVR環境を一つのVR環境として統合することで,様々なデータ処理に対処できIBR手法の制約を受けないVR環境の構築手法を提案している.体験者の入力に対し,個別に構築したVR環境で体験者の視点の画像を生成し,生成画像を統合することでVR環境の統合を実現している.

　本論文は,6章から構成されており,第1章序論で研究の位置づけを明確化した後,第2章で,従来のVR環境構築手法及び実環境の入力技術について体系的に整理し,実現に必要な研究課題及び方針について整理している.

　第3章では,体験者の要求に応じてVR環境が変化する体験者を中心としたVR環境を構築する手法について議論している.具体的には,VR環境を構築するためには体験者の視点・操作に応じて適切な画像を提示すればよく,体験者の視点画像の合成により全く個別に構築された複数のVR環境を統合することによるVR環境の構築手法の提案がなされている.また,新たにVR環境を構築する場合でも,対象とするデータや目的などに限定して構築すればよく,容易に拡張可能になるとの議論を展開している.

　まず,VR環境の統合に当たり,実環境とVR環境の統合であるAR技術やCGとIBRの統合の研究例を検証し,体験者視点画像の合成によるVR環境統合の必要用件として,撮影条件と奥行きの整合性が不可欠であることを示した.次に,実環境を用いたVR環境の構築に利用する様々なIBR技術を,空間を画像として近似する基準面の概念を提案し,写真的リアリティと自由度の制約について体系的に整理した.この整理に基づき,体験者に提示する画像の品質を維持する基準として,生成される体験者視点画像によるVR環境の品質評価基準を提案し,要求される視点位置・視線方向に応じてVR環境を動的に切り替えることで,要素となる複数のVR環境を体験者には一つのVR環境として提示するための統合の実現手法を提案している.

　画像の合成には,使用する各VR環境間の整合性を保つため,単純な画像の重ね合わせではなく,奥行き情報とVR環境のモデルの精度とテクスチャの解像度から算出される各生成画像の信頼度を評価・使用している.各VR環境により生成された各画像に信頼度を導入することにより,VR環境の切り替え・併用時にシームレスな接続をおこなうことを提案している.

　第4章では,提案手法により,移動範囲の制限されるIBRにより構築されたVR環境を画像の合成により統合することで,移動範囲の制限を回避できることを確認している.実際に車載型画像収集システムを用いて取得された位置姿勢情報付き画像データを使用した都市VR環境の構築と,リモートセンシングデータや航空写真を用いて地球規模VR環境の構築を行った.

　第5章では,更に,異なったモデリング・レンダリング手法を用い,データの座標系やスケールも大きく異なる複数のVR環境を統合することにより,移動可能範囲やデータ利用など各VR環境の欠点や利点を互いに補完することができ,高度なVR環境の構築および提示が可能になることを実験を通して明らかにしている.実験では,個別に構築した都市VR環境,地球規模VR環境,太陽系VR環境を提案手法により統合することを試みており,太陽系の構造が把握できるマクロな環境から生活環境のレベルまで一つのVR環境として体験者に提示できることを確認している.

　また,提案手法の具体的な実装として,環境マネージャにより個別に構築されたVR環境を管理し,視点情報の同期,生成画像の合成を行う構造を提案し,このような実装が様々なVR提示装置へ適応やVR環境の拡張に有効であることを示した.

　最後に第6章では,本論文の主たる成果についてまとめると共に今後の課題と展望が示されている.

　以上のように本論文では,品質を維持しながら様々な要求や用途に対応可能な実用的なVRシステムを構築するという困難な命題を,多岐に渡る実環境入力技術や画像に基づくVR環境の構築手法の体系的な整理と統合の提案,VR環境の統合手法として体験者視点の画像に基づく統合,VR環境の品質として生成画像の信頼度理論を提案し実証したところに大きな功績があると考えられる.実際に様々なシステムを構築し,提案理論に基づき実証実験を行う非常に実証的な研究となっている.

　よって本論文は博士(工学)の学位請求論文として合格と認められる.