実写映像の高臨場感ディスプレイ表示などを対象とした映像高付加価値化のための変換処理について、特に3次元幾何学的整合性に着目し、その決定方法を論じる。

3次元幾何学的整合性に基づき映像変換が行われるためには、その変換を決定する各パラメータが幾何学的に矛盾の無いものとならなければならない。そのためには、パラメータの一部が未知のときにこれを推定する処理が必要となるが、実際の処理過程では、誤差や計算量、可観測性等の問題が存在しており、理論的には正しい処理であっても、目的とする映像が必ずしも与えられた条件や計算時間において得られるとは限らない。そこで本論文では、映像変換におけるこれら実際的な問題の解決を図ることを目的とし研究を行った。

まず、3次元幾何学的拘束に基づく2次元変換処理について、その変換処理を決定するパラメータが与えられたり、あるいは容易に決めることができるものを対象として、アプリケーションにおける映像変換の役割と、そこにおける3次元幾何学的な拘束の取り扱い方法について述べる。

次にその変換処理を、必要となるパラメータの一部が未知であるときに拡張する。そのためには、与えられた条件から幾何学的拘束に基づき未知のパラメータを推定する処理が必要となる。実際のアプリケーションでは、これを現実的な誤差の存在下において、限られた観測パラメータと少ない計算量で実現することが求められる。そのためにまず、推定処理が最終的な変換映像に及ぼす影響を幾何学的に分析する手段を準備する。具体的には、未知パラメータ推定問題に関する基本的なアルゴリズムを整理し、可能な部分を新アルゴリズムとして追加し、さらにこれらについて回転推定問題としての統一的解釈を行う。一方、本論文が目指すものが精度の高い未知パラメータ推定ではなく、アプリケーションの要求を満たす映像表示であるとの原則のもと、個々のアプリケーションにおける要求と撮影映像の特性や撮影条件などをあらかじめ分析し、観測パラメータや幾何学的な拘束条件などを限定的あるいは局所的なものにした3次元幾何学的拘束に基づく評価尺度を定義し、この評価尺度に基づき未知パラメータを求めていくという枠組みを提案する。この手段と枠組みを用いて個々のアプリケーションにおける映像変換を決定すれば、映像変換をアプリケーション毎にただ闇雲にヒューリスティックに決めていく方法に比べ合理的な決定が可能となり、また求められるパラメータは必ずしも精度的に最適なものとはならないが、アプリケーションで必要とされる効果が現実的な作業や時間で実現できるようになることを、実アプリケーションを例に示す。

本論文では、高臨場感映像アプリケーションなどを対象とした、表示映像高付加価値化のための映像の幾何変換処理について、特に3次元幾何学的整合性に着目し、その変換決定方法に関する理論、ならびにその実アプリケーションへの適用方法を扱っている。

映像変換を被写体までの距離情報（デプス情報）に応じて行う方法は、3次元的な映像効果をあらわす際に優れた方法であるが、デプス情報を高精度に準備する必要があったり、被写体毎に領域を切り出す必要があるなど、極めて実施困難な処理を数多く含んでいる。よって実アプリケーションでは、このデプス情報を用いずに実現できる映像変換が強く求められている。一方、3次元幾何学的整合性に基づき映像変換が行われるためには、変換を決定するためのパラメータの一部が未知のときにこれを推定する処理が必要となる。実際の処理過程では、誤差や計算量、可観測性等の問題が存在しており、理論的には正しい処理であっても、目的とする映像が必ずしも与えられた条件や計算時間において得られるとは限らず、これらの実際的な問題への対策が必要とされる。

本論文は、「映像の2次元変換過程における3次元幾何学情報処理」と題し、全6章からなる。

第1章では、研究の背景と目的、ならびに本論文において3次元幾何学的拘束の基本となる、撮影映像と被写体との幾何学的な対応関係を述べている。

第2章では、IBR (Image Based Rendering) に代表される映像生成方法をサーベイし、被写体までの奥行きパラメータを必要としない映像変換処理の特徴をあきらかにした上で、拡張射影変換という映像変換の枠組みを定義し、本論文ではこの枠組みですべての変換を行うことを提案している。2つの具体アプリケーションを例に、本枠組み内で変換を行う有効性と、そこにおける3次元幾何学的な拘束の扱い方法を説明している。

第3章では、第2章で定義した拡張射影変換を、撮影時のカメラパラメータ等の推定処理が必要となるアプリケーションに応用していくための準備を行っている。3次元幾何学的拘束に基づく未知パラメータ推定アルゴリズムに関し、コンピュータビジョンの分野で扱われてきた基本的なものを整理し、可能な部分を新アルゴリズムとして拡充している。さらにこれらについて回転推定問題としての統一的解釈を行うことで、各アルゴリズムの本質的な違いを明らかにするとともに、映像上での幾何学的な意味付けを行い、パラメータ推定が映像変換処理に及ぼす影響を分析するための手段として利用できるようにしている。

第4章では、未知パラメータ推定過程を含んだ、拡張射影変換に基づく映像変換について述べている。第3章で扱った3次元パラメータ推定アルゴリズムがその基本手段となるが、そこでは誤差や計算量、観測パラメータの測定性等の実際的な問題に対処できるようにしておく必要がある。このため本論文では、そこで目指すのが精度の高い未知パラメータ推定ではなく、アプリケーションの要求を満たす映像表示であるとの立場をとる。この考えに基づき、個々のアプリケーションにおける要求と撮影映像の特性や撮影条件などをあらかじめ分析し、観測パラメータや幾何学的な拘束条件などを限定的あるいは局所的なものにした3次元幾何学的拘束に基づく評価尺度を定義し、未知パラメータを求めていくという枠組みを提案している。これにより未知パラメータの推定処理が、現実的な作業や時間で実現できるようになったことを、2つの実アプリケーションを例に示している。

第5章では本研究の主たる成果を述べている。拡張射影変換の枠組みでの映像変換が、実アプリケーションにおいて多くの有用な高付加価値化を実現できることを示したこと、3次元パラメータ推定アルゴリズムを整理して準備したこと、パラメータ推定時の誤差や計算量の問題を解決する方法として、幾何学的な拘束条件を限定的あるいは局所的なものして扱う方法を提案し、具体アプリケーションにおいてその効果を示したこと、以上の3点であることを述べている。

第6章は結論であり、以上の成果によって、高臨場感映像アプリケーションを対象にした映像変換処理による高付加価値化を、現実的な精度、作業量、計算量において実施することができ、当初の目的を達成することができたと結論づけている。

以上のように、本論文は映像アプリケーションにおける有用な映像変換方法と、そこでの3次元幾何学的整合性の適切な扱い方法を示した。これは映像アプリケーション分野やコンピュータビジョンの分野において、価値ある成果だと言え、工学全般の発展に大きく寄与するものである。

よって本論文は博士（工学）学位請求論文として合格と認められる。