3次元画像表示技術の発展に伴って、立体テレビジョン放送や3次元画像通信が現実のものとなろうとしている中、3次元画像を効率良く伝送する技術の開発が待たれている。現状ではさまざまな方式の3次元画像表示技術があり、これらは用途に応じて使い分けられていくものと思われる。このように複数の方式の共存を前提とした3次元画像符号化方式として、「3次元統合画像通信(Integrated 3-D Visual Communication)」の枠組の提案を行なった。これは、すべての3次元画像表示方式に共通の中間的な画像記述を規定することにより、入出力を独立に規定できることを目指すものである。

図1:3次元統合画像通信

　本論文においては、現在利用可能なさまざまな3次元入出力技術について詳細な解析を行ない、実写3次元画像の入力方式としてもっとも有望な多眼カメラによる入力を前提として、

　・3次元画像の情報圧縮

　・任意視点からの画像の合成

　と問題を定式化する。この問題に対し、以下の3つの方式を試みた。

　1.視差補償予測に基づく3次元画像符号化

　2.エピポーラ平面画像の構造化に基づく圧縮、補間

　3.3次元構造抽出に基づく3次元画像符号化

　一番目の手法は、多眼画像データを信号とみなし、信号の統計的冗長性を除くことにより圧縮を実現するものである。既に、2次元画像符号化方式としては、JPEG、H.261、MPEG1、2の標準化がなされており、これらを利用した3次元画像の圧縮、符号化の特性評価を行なった。また、視差補償予測符号化の場合、求められた視差ベクトルの内挿を行なうことにより中間像の合成が可能であることを示し、実験的な検討を行なった。さらに、多眼画像のもつ幾何学的な制約を利用した視差補償予測を提案し、視差ベクトルに要する符号量を抑制することを可能とした。

　二番目の手法は、多眼画像から得られたエピポーラ平面画像が幾何学的に特徴のあるパターンを形成することに着目し、エピポーラ平面画像の構造化を行なうことで多眼画像の圧縮、中間像の補間合成を行なうものである。

　三番目の手法は、画像とは本来3次元空間にある物体の投影であるという考え方に基づき、3次元の物体そのものを記述、符号化する方法である。これにより大幅な圧縮をすることができることに加え、復号側において任意視点からの画像の合成が可能となる。本論文では、視差補償予測符号化を幾何学的な制約を用いて多眼画像へと拡張することにより、対応点問題を避けながら構造抽出符号化手法の利点と直接高能率圧縮の利点を組み合わせた方式を提案している。具体的には、復号画像のSNRを評価基準として設定し、物体の形状と表面テクスチャの決定をを最適化問題として解くという手法である。現在のところ、凹凸の複雑さに制約を設けたモデルを用いており、激しいオクルージョンには対応できないものの対応できないものの、20毎程度の多眼画像をほぼ1枚程度にまで圧縮できるという結果が得られた。

　次に、視差画像の圧縮、補間合成の問題の本質的な点について検討を加え、3次元画像を光線群により統一的に表現するという枠組を与えた。この観点から、視差補償予測、エピポーラ平面画像の構造化、3次元構造抽出符号化を捉え直し、これらの手法がする。光線空間記述の一手法であると位置付けた。さらに、光線空間とホログラムパターンとの情報変換の方法を与え、ホログラムパターンの情報圧縮についても検討を加えた。

　最後に、光線空間の観点から3次元画像の情報量について考察を行ない、物体の点、多眼画像、ホログラフィのそれぞれについて情報量の比較をおこなった。

図2:圧縮データの構造、テクスチャを貼り付けたもの、復号画像(n＝0,9)。

　本論文は「3次元統合画像符号化の基礎検討」と題し、3次元画像情報環境の実現を目的として3次元統合画像通信を提案し、この観点から、さまざまな3次元画像を統一的に扱うことのできる符号化手法の提案と実験的検討を行なったものであって、8章からなる。

　第1章は「序論」であって、本研究の主題と研究の位置付けについて述べている。すなわち、立体テレビジョン放送や3次元画像通信が近い将来に現実のものとなろうとしている今、3次元画像の効率的な符号化手法の確立が急務であることを論じ、研究の背景を明らかにするとともに、本論文全般に渡っての主題である3次元統合画像符号化の観点から、本論文の構成について述べている。

　第2章は「3次元統合画像通信の構想」と題し、少なくとも近い将来において3次元画像の入出力方式が統一されることはないであろうとの観点から、さまざまな方式の3次元ディスプレイが共存することを前提とした"3次元統合画像通信"(Integrated 3-D Visual Communication)の提案を行なっている。また、3次元統合画像通信では、従来のデバイスに依存した符号化法ではなく、3次元画像共通の中間的な記述フォーマットが必要であることを論じ、3次元統合画像符号化の概念を導いている。

　第3章は「3次元画像の取得と表示方式」と題し、まず現在利用できる3次元画像の代表的な入出力方式について概観し、符号化方式設計の立場から必要となる各種の特性の解析を行なっている。また、実際に実写画像を入力する際に不可欠となる画像の位置合わせ、歪み補正について言及している。

　第4章は「光線群による3次元画像の統一的表現」と題し、光線群を記述することによって3次元画像を統一的に表現することを論じている。すなわち、3次元画像を光線群の集まりであるととらえ、撮像を光線群のサンプリング、表示を光線群の再生であるとする考え方を導入し、3次元統合画像通信における"3次元画像の中間的な記述方式"としての可能性を示している。また、この観点から3次元画像符号化の問題を"光線空間の伝達問題"として定式化し、あわせて光線群のサンプリングという観点から、視差画像の補間合成の問題についても言及している。

　第5章、第6章では光線空間の冗長性を利用した圧縮、符号化方式に関して、実験的検討を行なった結果を述べている。

　第5章は「視差補償予測に基づく3次元画像符号化」と題し、波形符号化的な考え方に基づく3次元画像符号化方式の特性を評価している。すなわちまず、動き補償2次元動画像符号化方式における動きを視差とみなした"視差補償予測符号化"の特性を検討している。また、多眼画像の幾何学的な性質を用いた符号化法を新たに提案して、実験により特性の評価を行なっている。

　第6章は「3次元構造推定に基づく3次元画像符号化」と題し、3次元構造モデルを用いた光線空間の構造化という観点から、"3次元構造抽出符号化"を提案して実験的な検討を行なっている。すなわち、復号画像のSNRを評価基準とした3次元構造准定手法の検討を行ない、モデルの記述に要するデータ量、予測特性について詳細に検討している。さらに、より高度な構造化を行なうことによる予測特性が向上することを確認し、また3次元DCTを用いた予測誤差およびテクスチャデータの符号化法について実験的検討を行なっている。

　第7章は「ホログラムパターンの圧縮、符号化」と題し、ホログラムパターンから光線空間へのデータ変換と逆変換について検討し、ホログラムパターンの圧縮・符号化の問題を、多眼画像など他の3次元画像の圧縮・符号化の問題と同じ枠組みのもとで扱うことを検討している。

　第8章は「結論」であって、本研究の成果と意義について述べるとともに、今後の発展方向を示している。

　以上これを要するに本論文は、将来における3次元画像情報環境の実現を目的として、3次元画像の撮像・表示方式に依存しない3次元統合画像通信の考え方を提唱し、その基幹技術となる3次元統合画像符号化方式に関して、光線空間に着目した新たな方式を提案するなどの独創的な検討を加えたものであって、情報通信工学に寄与するところが少なくない。

　よって著者は東京大学大学院工学系研究科における博士の学位論文審査に合格したものと認める。