近年，視覚情報メディア技術は長足の進歩を遂げている．その進歩に伴い，従来の平面的な二次元画像だけではなく，我々が生活する三次元実環境そのものを扱うことも夢ではなくなった．カメラデバイスの低廉化に加え，様々な撮影装置や撮像方式が開発され，三次元空間の視覚情報を取得するための環境が整いつつある．コンピュータビジョン技術は，三次元環境の構造を理解するための方法論を提供し，ますますその完成度を高めている．コンピュータグラフィックス技術は，計算機内部に構築された精巧な仮想三次元世界を鮮明かつ高速に描き出すことを可能にした．三次元ディスプレイ技術は，観察者に立体感を与えるのみならず，視点位置の移動に伴って連続的に三次元空間を提示することも可能にした．これらの三次元視覚情報処理技術は，従来の二次元画像では実現できなかった，より高度な臨場感を表現するポテンシャルを持っている．近い将来には，バーチャルリアリティ，遠隔地通信，映像コンテンツ制作などの多様な分野で積極的に応用されることが期待される．

本論文では，実空間の三次元視覚情報を表現する一つの手段として，実写多視点画像を用いた自由視点画像合成技術に着目する．一般に，この技術は，分析と合成という二つの段階によって構成される．分析の段階では，実写多視点画像を分析してシーンの構造（幾何形状など）が推定される．これは，コンピュータビジョン分野におけるイメージベーストモデリングの問題である．一般に，この段階は膨大な計算を必要とするため，オフラインで処理されることが多い．合成の段階では，与えられた視点位置からのシーンの見え方を計算して画像を合成する．これは，コンピュータグラフィックス分野におけるイメージベーストレンダリングの問題である．この段階では，分析の段階で得られた情報を，事前の知識として利用する．本論文では，全プロセス（多視点画像の取得から自由視点画像合成まで）を実時間で行うことを想定し，全体を最適化する目的から，上記の二段階を統合的に捉える視点に立つ．本論文の目標は， カメラアレイによる多眼画像を入力として用いて，"全焦点"自由視点画像を実時間で合成することである．なお，本論文では，入力画像には，物理カメラの特性に基づく焦点ぼけがないものと仮定し，"焦点"や"合焦"という言葉を，合成画像上に現れる現象を指して用いる点に注意されたい．

本論文の主たる成果の一つは，新しい画像合成手法の提案と実践である．本論文では，二つの合成手法 ― 多眼ステレオ法を最適化した合成手法と，独自の方法論である"合焦"判定に基づく合成手法 ― を提案する．"合焦"判定に基づく手法は，シーンが一枚の平面で近似できると仮定して自由視点画像合成を行う手法である，light field rendering法を拡張したものである．この提案手法では，まず仮定平面の位置を連続的に移動しながら複数の画像を合成する．これらの画像では，仮定平面の位置に応じて，"焦点"ぼけのような現象が現れ，非"合焦"領域は不鮮明になる．次に，それらの画像の"合焦"領域を選択（"合焦"判定）して，一枚の画像に統合することで，全体が鮮明な"全焦点"画像を得る．二つの提案手法はいずれも，グラフィックスハードウェアの機能を用いて効率的に実装され，蓄積された多眼画像データを用いた実時間動作が確認できた．後者の手法は，レンズアレイを用いた実システムに適用され，動空間を対象とした実時間処理（多視点画像の撮像から画像合成まで）が可能であることが確認された．

本論文のもう一つの重要な成果は，理論的体系化である．本論文では，まず，最も単純な自由視点画像法を想定した上で，合成品質の限界を直感的に表現する"被写界深度"の理論を導入する．次に，実時間の自由視点画像合成という目的のもとで，多眼ステレオ法を最適化する方法を検討する．この検討は，合成画像の座標空間で直接問題を解くことで処理の効率化を目指すものであり，一つ目の提案手法に応用される．もう一つの提案手法においては，奥行き推定の新しい方法論として，"合焦"判定法を導入する．合焦判定法を空間領域で解析することにより，任意のカメラアレイ入力に適用可能な実用的なアルゴリズムが導かれる．周波数領域の解析により，"合焦"判定法に対して，多次元信号処理の理論に基づくユニークな理論的裏づけが与えられる．"合焦"判定法の意義は，自由視点画像合成のための奥行き推定という問題に対して，入力画像の代わりに合成画像を分析する，という新しいアプローチを導入した点にある．さらに，"合焦"判定法によって導入される一般化された理論体系には，従来の多眼ステレオ法を位置づけることが可能である．

本論文で提案する画像合成手法は，実時間で高品質な自由視点画像合成を実現するものであり，今後，合成品質や処理速度を高めるためにより洗練され，遠隔地通信など動空間を対象とするリアルタイムアプリケーションに応用されることが期待される．また，本論文の理論的検討は，自由視点画像合成という問題に対して，コンピュータグラフィックス，コンピュータビジョン，および信号処理という三つの学問分野の境界を超えたアプローチを試みるものである．このアプローチは，関連分野の研究が相互に比較され，関連付けられ，統合される，三次元視覚情報処理という新たな研究分野の確立への道筋を示すものとなることが期待される．

本論文の構成は次の通りである．

第1章　序論

第2章　研究の背景

第3章　自由視点画像合成おけるサンプリングと被写界深度の理論

第4章　全焦点自由視点画像合成のための多眼ステレオ法の最適化

第5章　合焦判定に基づく全焦点自由視点画像合成　―　空間領域における検討

第6章　合焦判定に基づく全焦点自由視点画像合成　―　周波数領域における検討

第7章　合焦判定に基づく全焦点自由視点画像合成法の実システムへの適用

第8章　多次元信号処理から見た合焦判定法と多眼ステレオ法

第9章　結論

以下，本論文の流れを簡単に説明する．

第2章では，本研究の背景について述べる．本論文の主題である，多視点画像を用いた自由視点画像合成について，以下の四つの観点から関連研究を紹介する．1）画像通信の高度化，2）コンピュータグラフィックスにおけるイメージベーストレンダリング，3）動空間を対象とした自由視点画像合成システム，および4）多次元信号処理．

第3章では，多眼画像を用いる自由視点画像合成において，被写体空間を一枚の平面で近似する最も基本的なケースを想定し，鮮明に合成できる奥行きの範囲，すなわち被写界深度について考察する．特に，被写界深度とサンプリング条件（多眼カメラのカメラ間隔や画素間隔）の間に成り立つ定量的関係の導出を試みる．この議論は，自由視点画像合成における平面モデルの限界を示すものであり，本論文で目指す，全焦点合成のための理論的基盤となる．

第4―8章では，被写体空間を複数の奥行きレイヤ群で表現することで，全焦点自由視点画像を合成することを目標とし，理論と実践を展開する．レイヤ群を用いる場合には，合成画像の各画素を最適なレイヤに割り当てる必要があり，この処理をいかに行うかが本論文の主要な論点となる．これは一種の奥行き推定の問題と考えることができる．

第4章では，実時間で全焦点自由視点画像を合成する，という目的に対して，奥行き推定の手法である多眼ステレオ法を最適化する．具体的には，処理を所望の視点位置に対する合成に必要充分な範囲に限定することで，コストの削減を図る．また，自由視点画像合成のための奥行き推定に求められる四つの基本的な条件を挙げ，それらを満たす奥行き推定手法の提案と実装を行う．

第5章では，合成画像の各画素に対して最適な奥行きレイヤを割り当てるための新たな方法論を導入する．これは，ある奥行きに設定された単一の平面モデルに基づいて合成された画像を分析することで，各画素に対するその奥行きの妥当性を評価する手法である．合成画像上で鮮明な部分を判定する処理であることから，本論文ではこれを"合焦"判定と呼ぶ．これは，「合成に基づく分析」という新しいアプローチであり，奥行き推定手法の枠組みを大きく広げるものである．また，この手法を用いた自由視点画像合成手法を実装し，有効性を確かめる．尚，本章では，すべての議論は空間領域で展開される．

第6章では，第5章で導入した"合焦"判定法について周波数領域で議論する．本章の議論は，理想的な多眼カメラアレイ入力に限定されるが，第5章と等価な結論を導くものである．本章の議論は，奥行き推定の問題に多次元信号処理の理論（plenoptic sampling 理論）を適用するユニークな試みである．また，CGシーンを用いた実験により，合成画像の品質を定量的に評価し，提案手法の有効性を確かめる．

第7章では，第5，6章で検討した"合焦"判定に基づく全焦点自由視点画像合成法を，レンズアレイを用いた実時間システムLIFLETに適用する．LIFLETでは，特殊な撮像光学系が用いられているため，合成手法やパラメータをシステムに合わせてチューニングする．これにより，提案する画像合成手法により，動空間を対象とした実時間合成が可能であることを確かめる．

第8章では，多次元信号処理の観点から，自由視点画像合成のための奥行き推定に関する理論的体系化を行う．第4章で検討した多眼ステレオ法は入力多眼画像を分析する手法であり，第5―7章で検討した"合焦"判定法は合成画像を分析する手法であった．本章の議論では，多眼ステレオ法が，"合焦"判定法の特殊はケースとして，共通の枠組みの中に位置づけられることを示す．

第9章では，本論文の成果をまとめるとともに，今後の課題と展望に触れ，全体の結論とする．

本論文は，「多眼画像を用いた全焦点自由視点画像の実時間合成に関する研究」と題し，従来の自由視点画像合成手法の欠点を補う新しい試みとして，合焦判定の考え方を導入し，合成に基づく分析というパラダイムの中で実践的な手法を実装するとともに，信号処理・コンピュータグラフィックス・コンピュータビジョンの各分野を横断する理論を体系的に論じたものであって，全体で9章からなる．

第1章は「序論」であり，従来のコンピュータグラフィックス分野における自由視点画像合成手法の問題点を指摘するとともに，本研究の対象領域の明確化することにより，本論文の背景と目的を明らかにしている．

第2章は「研究の背景」と題し，本論文の主題である，多視点画像を用いた自由視点画像合成について，（1）画像通信の高度化，（2）コンピュータグラフィックスにおけるイメージベーストレンダリング，（3）動空間を対象とした自由視点画像合成システム，（4）多次元信号処理という4つの観点から関連研究を概観し，本論文の位置付けを明らかにしている．

第3章は「自由視点画像合成におけるサンプリングと被写界深度の理論」と題し，多眼画像を用いる自由視点画像合成において，被写体空間を一枚の平面で近似する最も基本的なケースを想定し，鮮明に合成できる奥行きの範囲，すなわち被写界深度について考察している．特に，被写界深度とサンプリング条件（多眼カメラのカメラ間隔や画素間隔）の間に成り立つ定量的関係の導出している．この議論は，自由視点画像合成における平面モデルの限界を示すものであり，本論文で目指す，全焦点合成のための理論的基盤となるものである．

第4章は「全焦点自由視点画像合成のための多眼ステレオ法の最適化」と題し，実時間で全焦点自由視点画像を合成するという目的に対して，奥行き推定の手法である多眼ステレオ法を最適化している．具体的には，所望の視点位置に対する合成に必要充分な範囲に処理を限定することで，コストの削減を図っている．また，自由視点画像合成のための奥行き推定に求められる4つの基本的な条件を挙げ，それらを満たす奥行き推定手法を提案し実装している。

第5章は「合焦判定法に基づく全焦点自由視点画像合成　−空間領域における検討」と題し，合成画像の各画素に対して最適な奥行きレイヤを割り当てるための新たな方法論を導入している．これは，ある奥行きに設定された単一の平面モデルに基づいて合成された画像を分析することで，各画素に対するその奥行きの妥当性を評価するものである．合成画像上で鮮明な部分を判定する処理であることから，本論文ではこれを"合焦"判定と呼んでいる．これは，「合成に基づく分析」という新しいアプローチであり，奥行き推定手法の枠組みを大きく広げるものである．また，この手法を用いた自由視点画像合成手法を実装し，その有効性を確かめている．以上の議論は，すべての議論は空間領域で展開されている．

第6章は「合焦判定に基づく全焦点自由視点画像合成　−周波数領域における検討」と題し，第5章で導入した"合焦"判定法について周波数領域で議論している．本章の議論は，理想的な多眼カメラアレイ入力に限定されるが，第5章と等価な結論を導くものである．本章の議論は，奥行き推定というコンピュータビジョン分野の問題に多次元信号処理の理論（plenoptic sampling 理論）を適用している点に特色がある．また，CGシーンを用いた実験により，合成画像の品質を定量的に評価し，提案手法の有効性を検証している．

第7章は「合焦判定に基づく全焦点自由視点画像合成法の実システムへの適用」と題し， 第5，6章で検討した"合焦"判定に基づく全焦点自由視点画像合成法を，レンズアレイを用いた実時間システムLIFLETに適用している．そして，提案する画像合成手法により，動空間を対象とした実時間合成が可能であることを確認している．

第8章は「多次元信号処理から見た合焦判定法と多眼ステレオ法」と題し，多次元信号処理の観点から，自由視点画像合成のための奥行き推定に関する理論を体系的に論じている．第4章で検討した多眼ステレオ法は入力多眼画像を分析する手法であり，第5―7章で検討した"合焦"判定法は合成画像を分析する手法であった．本章の議論では，多眼ステレオ法が"合焦"判定法の特殊はケースとして，共通の枠組みの中に位置づけられることが示されている．

第9章は「結論」であり，本論文の主たる成果をまとめるとともに今後の課題と展望について述べている．

以上を要するに，本論文は，写実的な自由視点画像合成を実時間で行うために，合焦判定の考え方を導入し，合成に基づく分析というパラダイムの中で実践的な手法を実装するとともに，信号処理・コンピュータグラフィックス・コンピュータビジョンの各分野を横断する理論を体系的に論じたものであって，今後の電子情報学の進展に寄与するところが少なくない．

よって本論文は博士（情報理工学）の学位請求論文として合格と認められる．