本論文では,焦点合わせ(フォーカス)を変化させて撮像した2枚の画像を用いて,視覚効果を付与した画像を生成する手法を論じる.また,撮像画像に生じたぼけ量を強調することによって,奥行き計測の精度を向上させる手法を論じる.

　画像生成の手法について以下に述べる.提案手法では,対象シーンが近景と遠景の2層であると仮定する.この仮定のもとで,近景に焦点を合わせた画像(近景合焦画像)と遠景に焦点を合わせた画像(遠景合焦画像)の2枚の画像(図1)を用いる.

　これら2枚の撮像画像から,近景と遠景の領域ごとに独立に以下の視覚効果を付与した画像を生成する.

1)焦点ぼけ　…図2(a)(b)

2)流れ場　…図2(c)

3)高域強調　…図2(d)

4)シフト(移動)　…図2(e-1)(e-2)

　提案手法の処理の流れを図3に示す.近景合焦画像(g1)と遠景合焦画像(g2)を離散フーリエ変換(DFT)し,逆フィルタの周波数成分であるK1とK2をそれぞれ乗算する.その結果を加算し,逆離散フーリエ変換(IDFT)することによって所望の画像fabを生成することができる.

本手法の特徴は以下のとおりである.

・逆フィルタは位置不変かつ線形である.それゆえ,近景あるいは遠景の領域を分割することなく,領域ごとの視覚効果の付与が可能である.

　・通常の画像復元における逆フィルタで生じる雑音強調の問題がない.

　逆フィルタの導出の流れは以下のとおりである.

1)撮像画像と所望の画像の取得モデルを導入する.

2)モデルから所望の画像と撮像画像の関係式を周波数領域で導出する.

3)撮像画像の係数を逆フィルタとして算出する.

　画像の取得モデルでは,領域分割された各領域の画素だけをもつ画像を定義し,それらの重ね合わせを用いる.近景合焦画像は近景領域の画像とぼけた遠景領域の画像を重ね合わせることによってモデル化する.それと反対に,遠景合焦画像は遠景領域の画像とぼけた近景領域の画像を重ね合わせることによってモデル化する.一方,所望の画像は,近景と遠景の領域に視覚効果を付与する関数(エフェクト関数)を畳み込んだ後に重ね合わせることによってモデル化する.

　それぞれのモデルを周波数領域に変換し,各モデルから領域分割の情報をもっている近景と遠景の領域の画像を消去し,所望の画像について解く.このとき,撮像画像の係数を逆フィルタとして求める.本手法では,従来まで不定として扱ってきた逆フィルタの直流成分をその直流成分へと極限をとることにより決定できる.ただし,シフトを付与する場合の逆フィルタの虚部の周波数特性だけは,その極限値が発散するため逆フィルタにしきい値処理を行う.

　他に本手法を用いて以下の処理を行った.

　・焦点と位置の異なる仮想カメラ画像の生成

　本手法では,ぼけとシフトを付与できることから,これらの視覚効果を仮想カメラの焦点および位置によって生じるぼけと視差に対応付けることによって,仮想カメラの画像を近似的に生成できる.

　・動きのあるシーンに対するリアルタイム処理

　動きのある対象シーンに対して同時に異なる焦点の画像を撮像できる多焦点動画像カメラを試作し、リアルタイムに画像を生成するシステムを構築した。現在のところは、128×128×RGB 8bitの動画像に対して、3フレーム毎秒以上の生成速度を達成している。

　奥行き計測の手法について述べる.これは,上記の画像生成手法を奥行き推定に応用したものである.撮像画像は同様に焦点合わせの異なる2枚の画像を用いる。ただし、対象シーンの奥行きは任意であり、2層であるとは限らない。提案手法は、撮像画像から上記の生成手法を用いて焦点ぼけを強調した異なる画像を2枚生成し、これらの画像間においてブロックごとに周波数成分の比較を行い、奥行きを推定する。推定精度が向上することを理論的に論じ,シミュレーションでこれを示めす.

図1:画像生成に用いる2枚の撮像画像の例:この例では,熊の玩具の近景と本棚の遠景だけで構成されたシーンに対して,それぞれのオブジェクトに焦点を合わせた2枚の画像を撮像している.

図2:画像生成の例

図3:提案する画像生成の手法:位置不変かつ線形な逆フィルタによって領域ごとの視覚効果の付与が可能である.

本論文は「焦点パラメータの異なる画像を用いた新たな画像生成と奥行き計測」と題し、8章よりなる。画像情報は情報の多さと伝達能力の高さという点で優れているが、取得した画像をそのまま提示するのでは不十分な場合が多い。画像に編集加工が施せる手段、画像から奥行きなどの情報を読み取る手段も必要である。本論文では、焦点合わせを変化させて撮像した2枚の画像を用いて、視覚効果を付与した画像を生成する手段を論じている。また、複数画像に生じたぼけ量を強調することにより、奥行き計測の精度を向上させる手法を論じている。

第1章は、「序論」であり、本研究の背景について、画像復元、画像生成、画像認識のそれぞれの分野との関わりを述べ、研究の目的を述べるとともに、本論文の構成を記している。

第2章は、「関連研究　−焦点情報と多重画像の利用−」と題し、画像復元、再構成の手法をまとめ、数学的な基礎を紹介している。また、複数の画像を積極的に用いる画像処理手法の過去の研究例について述べている。

第3章は、「2枚の焦点合わせの異なる画像からの任意ぼけ画像の生成」と題する。対象シーンがおおよそ近景と遠景で構成されるとし、近景に焦点をあわせ遠景がぼけている画像、遠景に焦点をあわせ近景がぼけている画像の2枚から任意のぼけを生成する手法について論じている。提案手法により、現実には利用困難なぼけ条件の画像、例えば、シーンすべてに焦点のあっている全焦点画像、近景には焦点をあわせたまま遠景のぼけの度合いを様々に変えた画像等が生成できる。この問題に関して、線形処理で画像が生成される撮像モデルを紹介し、逆フィルタを構成することで精度よく高速に画像生成が可能となることを示した。提案手法では、フィルタを2枚の画像に一様に適用し、その出力を加えることで合成結果を生成することができる。このため、複雑なセグメンテーションを行う必要はないという特徴がある。さらに、通常の逆フィルタでは問題となる不定要素が本問題では極限値により決定できることも明らかにしている。合成画像、実画像を用いた実験により、所望の結果が得られることを示した。さらに、フィルタの特性を解析するとともに、誤差解析も行い、想定している近景、遠景以外の位置にある対象の生成に生じる誤差の度合いを定量的に評価している。

第4章は、「視覚効果の付与した画像の生成−流れ場、エッジ強調、移動の付与−」と題する。前章と同様に撮像された2枚の画像を用いて、線形処理のモデルを拡張することで、ぼけだけでなく、線形フィルタに帰着できる様々な視覚効果を実現できることを示している。カメラの動きぼけに相当する流れ場、画像の精細な部分の強調処理、近景と遠景の独立な移動をとりあげ、それらを実現するフィルタを導いている。それぞれの効果に対し、合成画像および実画像を用いて良好な画像が生成できることを明らかにしている。

また、フィルタの解析を行うとともに、誤差の分析も行っている。

第5章は、「異なる視覚効果の組み合わせによる多様な画像生成」と題する。3章、4章で導いた手法を仮想カメラを用いた画像合成へ展開している。撮像シーンに対して仮想カメラの焦点および位置といったカメラパラメータを変えながら撮像する状況を想定し、そのカメラパラメータを本論文で用いる線形モデルへの変換を論じている。

第6章は、「ぼけの強調による奥行き推定の高精度化」と題する。Depth from Defocus (DFD)といわれる奥行き推定手法では、複数枚の焦点位置の異なる画像を用いて奥行き推定を行っている。単一のカメラで奥行き推定が可能である反面、物体がカメラから遠ざかるに従いぼけの度合いの変化が落ち、奥行き推定の精度が著しく劣化する。これに対して、本論文で論じる任意ぼけ画像の生成手法を適用することで、撮像画像間のぼけの度合いを強調し、奥行き推定の精度を上げる手法について論じている。

第7章は、「多焦点画像処理に必要な撮像系と前処理」と題する。本論文で提案する手法では、まず2枚の異なる焦点画像間の高精度なレジストレーションが必要である。2枚の画像の位置、スケールを自動的にあわせる階層的なレジストレーション法を提案している。また、実写画像に対しては、ぼけの推定が不可欠であり、近景、遠景がそれぞれ一方の画像で合焦しているという条件を利用した推定手法を利用し、ぼけの程度を関数近似することで高精度に求める方式を実現している。さらに、動画像への本手法の適用にあたっては、異なる焦点条件での複数の画像を同時に取得しなければならない。そのための特殊な光学系を有するカメラを試作し、動画像に対しても焦点の後処理を実現した。

第8章は、「結論」であり本論文の成果をまとめ、残された課題について記している。

以上これを要するに、本論文では、焦点合わせを変化させて撮像した2枚の画像を用いて、視覚効果を付与した画像を生成する手段を論じている。本手法により、複雑なセグメンテーションを行わなくても、シーン内の近景、遠景にそれぞれ独立にぼけや強調処理などの効果処理を施すことができる。また、一連の処理を自動化するための、高精度なレジストレーション、ぼけ推定についても論じている。本論文で論じた新しい画像生成手法は、将来の映像コンテンツの編集や加工に寄与することが期待され、電子情報工学上貢献するところが少なくない。よって本論文は博士(工学)の学位論文として合格と認められる。