これまでに開発された多くのバーチャル・リアリティ(以下,VRと略す)システムでは,VR環境の構築に幾何形状モデルを用いるコンピュータ・グラフィックス(以下,CGと略す)技術が利用されている.このCG技術を利用すれば,各種シミュレーション,実在しないものの可視化等が可能になるが,形状モデルや光学的特性の獲得,実時間描画という条件のもとで複雑形状物体等を扱うには制約があり,そのためVRシステムにおいては写実的な表現が困難であった.本論文ではこうしたVRシステムの欠点を補う新しい試みとして,実写画像を活用して写実的なVR環境を生成・描画する方法を体系的に扱う.この方法は,最近CG分野ではイメージベースト・レンダリング(以下,IBRと略す)と呼ばれる技術に属しており,実存する複数の画像から新しい視点の画像を再構成する手法である.IBRには,実写以外の画像に基づくものや,幾何形状モデルを利用するもの,実時間利用を想定しない方法も含まれるが,本論文が対象とするのは,すべて実写画像活用型かつ幾何形状モデルを利用しないタイプのIBRであり,また実時間対話可能なVRシステムの写実性を向上させる方法である.実写多視点画像による写実的なVR環境の実現

　実写画像を利用したVR環境の実現の第一歩として,限られた視点位置より観測した画像から,その他の視点位置での画像を生成する問題を取り上げる.ここで提案する手法は,「視点間補間」と「画像再構成」の2つの処理から成る.視点間補間は,空間中の各点がエピポーラ画像(直線上の視点位置で獲得された離散的な入力画像から構成される)上で直線状の軌跡をなすことを利用して,図1に示すように入力画像間の視点位置の画像を内挿する.画像再構成は,内挿により生成された多視点画像を用いて,光線追跡の考え方を応用した手法により任意視点画像を再構成する手法である.図2に示すように,直線L上の任意視点の多視点画像を得ることができる場合,視点位置Qで観察できる画像の画素iの色は,画素iと視点位置Qを結ぶ直線が直線Lと交差する点Rを視点位置とする画像の画素iの色と同じである.従って,求めたい画像のすべての画素に対して,この対応関係を求めることにより,左右多視点画像から線分上以外の視点位置の画像をコンピュータ内で再構成できる.また,これらの処理を組み込んだVRシステム“HoloMedia”を構築し,観察者の視点移動に応じて運動視差のある画像を生成・提示することが可能であることを示した.

光線空間データと幾何形状モデルの融合によるVR環境の実現

　さきに述べた手法では,入力方法や実装上の制約から観察者の視点移動範囲が限定されるという問題がある.ここでは上記の制約を緩和するための方策として,前記再構成処理の上位概念であり,より柔軟な物体やシーンの取り扱いが可能な光線空間の概念を導入する.但し,光線空間に基づく手法は,シーン全体を統一的に表現する形式としては優れているが,現実には,データ入力の手間やデータ量の問題,レンダリングのためのCPUパワー等の問題があり,この手法のみで大規模なVR空間を構築したり,その中を実時間で移動したりすることは難しい.そのため,複雑な形状を持つ物体を光線空間で表現し,これを幾何モデルで構築したVR空間に配置することにより解決を試みた.これを実現するには,光線空間により表現されたデータ(以下,光線空間データと略す)と幾何モデルデータを統一的に扱う必要がある.そのための方法として、VRML(Virtual Reality Modeling Language)のノードを拡張し,光線空間データを表現可能にした(図3参照).また,VR環境においてはウォークスルーにより物体の背後に回りこんだり,物体を移動・回転させたりできることが必須である.そこで,光線空間に基づく手法を物体の全周から眺めた様子を表現できるように,光線空間の基準面を放射状に複数枚配置するという拡張を行った.また,これらの処理を組み込んだシステム“CyberMirage”を構築し,これが従来の幾何モデルのみを使用する手法よりも写実的なVR環境を提供可能であることを示した.

光線空間データの共有

　CyberMirageシステムで取り扱う光線空間データのデータ量は膨大である.そのため,ネットワークを介してこのデータを共有する場合には,従来の幾何モデルベースのネットワークVRシステムとは異なった問題が発生する.ここでは,そのような問題点の検証用に構築したシステム“Collaborative CyberMirage”の設計方針と実装,実際にATMを介して2地点間で行ったVR環境通信実験に関して述べる.本システムは,仮想店舗を想定したクライアント/サーバ方式のシステムであり,ネットワーク上を転送するデータ量を抑制するために,光線空間により表現する物体を展示品に限定し,さらに物体の垂直視差表現を省略している.また,空間に存在する利用者をアバタで表現し,利用者相互に知覚できるようにした.これらを実装したシステムを運用した結果,写実性に関しては従来よりも向上しているが,膨大なデータ量に起因する遅延,視差の省略による物体の観察範囲の限定等への対処が必要であることがわかった.

光線空間による陰影の表現

　これまでは,光線空間に基づいた表現手法により,複雑な形状・質感を持つ物体やシーンを写実性高く表現する手法について論じた.しかしながら,これまでに述べた手法では撮影した画像データをそのまま用いてVR環境を構築しており,そこから再現される画像の陰影は撮影時に決定されるため,幾何モデルで表現された空間との整合がとれずに写実性が低下するという問題が発生する.従って,より写実的なVR環境を実現していくためには,光線空間で表現された物体の陰影を周囲に合わせてダイナミックに変更していくことが必要となる.ここでは,光線表現された物体の陰影の変更に的を絞り,実時間対話が可能な手法について論じる.この手法は,異なる照明条件で撮影した多数の光線空間データを用いる方法である.膨大なデータを扱うために,物体表面を完全拡散面と仮定し,陰影の変化を画像のルミナンス成分で代表させることによりデータ量の削減を実現している.この処理をCyberMirageシステムに組み込み,ダイナミックに光源の位置を変化させることが可能なことを示した.また,複数の光源が存在する場合は,各光源のもとで撮影した画像の線形和により陰影を表現できることを利用して,複数光源下での陰影の合成やそのような環境下でのウォークスルーなどを実現した.

光線空間データの圧縮

　光線空間データを利用する上での課題のひとつはその膨大なデータ量の削減である.そのため,ここでは光線空間データの圧縮を取り上げる.但し,実時間描画可能であることが制約条件であるため,ここで用いる圧縮手法には実時間復号が必須である.ここで提案する方式は,基本的には多視点画像の圧縮法であるが,通常の画像単位の符号化と異なり,画素単位のランダムアクセスを可能にする.そのため,光線空間データを対応関係テーブルと多視点画像の組として捉え,この多視点画像を圧縮することにより,全体のデータ量の削減を図る.圧縮対象データを多視点画像にした場合,画像の統計的な性質は動画像の性質と類似しているため,基本的には動画像圧縮方式が適用可能である.そこで,基本の圧縮方法として,動画像で用いられている方式をベースに,画素レベルでのランダムアクセスと,復号時の画質レベルをコントロールできるように改良を加えた.具体的には,画像間の冗長度削減には視差(動き)補償予測を利用し,画像内の冗長度削減にはDCTを用いて,その結果をベクトル量子化し,符号データを得る.復号時には,画素毎に逆DCT演算を展開し,展開された各画素の各項をジグザグスキャン順にソートしておく.この処理により,画素単位での復号が可能になる.また,演算時間や復号画像の画質は展開した要素の使用個数に依存する.そこで,人間の視覚特性を考慮して,物体や観察者などに動きのある場合は上位の項のみ,静止している場合は下位の項まで使用して演算する.これらの処理により,描画時間と復号画像の画質の双方を制御することができ,その結果として,平均S/N比32dB,圧縮率1/15,描画レート26fps(最速時)を達成した.

結論

　本論文の内容に関して,写実性,対話性,実時間描画の観点から整理した.また,本論文では触れなかった事柄についても考察を行った.具体的には,実写ベースの画像再構成手法が形状モデリングの概念を変化させたこと,IBRは本質的に必要な技術であること,光線空間による背景の表現には得失があることなどである.

　また,構造情報を持たないため変形を伴う光線空間データの操作に制約があること,波形符号化による光線空間データの圧縮には限界があること等を課題として列挙した.今後は如何に対象物体の構造情報を獲得し利用するか,また,構造情報を利用する手法と利用しない手法とを如何に併用し,写実性や操作性などを向上させていくかが重要になると思われる.

図1　視点間補間処理の原理

図2　画像再構成処理の原理

図3　VR環境の木構造(VRML)による表現

(a)　VR環境の例

(b)　(a)の木構造による表現

　本論文は,「実画像を利用したVR環境の構築と実時間描画に関する研究」と題し,従来のバーチャルリアリティ(以下、VRと略す)システムの欠点を補う新しい試みとして,実写画像を活用した写実的なVR環境を生成・描画する方法を体系的に論じたものであって,全体で8章からなる.

　第1章は「序論」であり,現在のVRシステムに利用される従来のコンピュータグラフィックス(以下,CGと略す)手法の限界,即ち,実時間描画を制約条件にした場合に複雑な形状を持つ物体を写実的に表現することが困難である問題を指摘するとともに,本研究の対象領域の明確化することにより,本論文の背景と目的を明らかにしている.

　第2章は「写実的なVR環境の実現方式」と題し,本論文の主題である実時間対話可能な写実的VR環境の構築に関してその構想を述べている.また,従来の生成的なCG手法に対して,実写画像を活用し所望の画像を得る意義と,実写を利用して写実的なVR環境を構築する際の課題について論じている.この方法は,イメージベーストレンダリングと総称される手法の一つであり,明示的な幾何形状情報を持たずにVR環境を実現するものである.

　第3章は「実写多視点画像によるVR環境の構築と描画」と題し,第2章の課題を受けて,離散的に撮影された実写画像から任意の視点位置の画像を生成する手法,即ち,幾何情報を利用しないタイプのイメージベーストレンダリングの基本となる手法を提案している.具体的には,カメラによる撮影あるいは撮影された画像の補間によって生成された画像群を光線の集合として捉え,光線追跡の考え方を応用して任意視点画像を再構成する手法と,この手法を用いて実写画像のみでVR環境を構築したHoloMediaシステムに関して述べている.

　第4章は「光線空間データと幾何モデルデータとの融合によるVR環境の実現」と題し,第3章で提案した手法の一般化に相当する光線空間理論を活用した手法に関して論じている.その第一段階として,光線空間表現された物体とCGデータとを融合する方式とその実時間描画方式を提案している.また,VRシステムの要件であるウォークスルーや物体の操作を実現するための基礎的な検討を行ない,本手法を組み込んだCyberMirageシステムについて述べ,その有効性を明らかにしている.

　第5章は「共有VR環境の実現」と題し,第4章のシステムの拡張として,VR環境を遠隔地の複数のユーザとネットワークを介して共有する手法と,この手法を組み込んだプロトタイプシステム“Collaborative CyberMirage”について論じている.また,本システムをヒューマンインタフェースの観点から捉え直し,その設計方針と実装,実際にATMを介して2地点問で行ったVR環境通信実験に関する考察や得られた知見などについて述べている.

　第6章は「光線空間を利用した物体の陰影表現」と題し,写実的表現の機能拡張として,光線空間表現された物体の陰影表現について論じている.一般に実写画像を利用する光線空間表現手法では撮影時に陰影が決定されるが,本章ではあらかじめ様々な照明条件下で獲得された陰影画像を利用して,VR空間中に配置された光線空間データの陰影を照明環境に応じてダイナミックに変更する手法に関して論じている.

　第7章は「実時問描画を考慮した光線空間データの圧縮と実装」と題し,前章までに達成した方法を実用的にするための光線空間データの高能率圧縮手法に関して論じている.具体的には,垂直視差を省略した光線空間データに対して実時間システムを構成する上で圧縮手法に要求される条件の整理と,その条件を満足する圧縮方式として,実時間ランダムアクセスが可能な階層型離散コサイン変換ベクトル量子化方式を提案している.また,実際に提案手法を第4章で述べた“CyberMirage”システムに組み込み,その有効性を検証している.

　第8章は「結論」であり,本論文の主たる成果をまとめるとともに今後の課題と展望について述べている.

　以上を要するに,本論文は,写実的かつ実時間対話可能なVR環境の実現に向けて,実写画像を活用する上で必要なデータ取得・補間・再構成・圧縮・陰影付加手法を提案し,これらを利用したVR環境の構築手法に関して体系的に論じたものであって,今後の電子情報通信工学の進展に寄与するところが少なくない.

　よって本論文は,博士(工学)の学位請求論文として合格と認められる.