近年,映像分野におけるポストプロダクションシステムの導入や一般ユーザへのディジタルカメラの普及などにより,デスクトップ上での様々な映像編集,映像生成処理が可能となりつつある.

　本論文ではこのような流れの中で,焦点合わせの異なる複数の撮像画像を信号処理的に統合し任意に各奥行きのぼけの程度を抑制あるいは強調した画像(任意焦点画像)を生成する手法を論じる.従来から検討されている画面全体に焦点のあった全焦点画像の再構成に加え,焦点深度の異なるレンズで撮像したような画像や様々な焦点合わせの画像など,任意焦点画像の生成が可能となれば撮像後の映像編集,映像生成により幅をもたせることができる.

　また,統合手法のみならず,このような焦点合わせの異なる複数の撮像画像からの信号処理的統合のための適切な前処理や,その撮像システムにまで踏み込んだ形での効率的な画像生成の実現手法を提案する.本論文の理論的中心となる複数画像からの信号処理的統合手法そのものについても一般化あるいは様々な拡張を行い,いくつかの応用への可能性を検討する.

焦点合わせの異なる複数の撮像画像からの任意焦点画像の生成

　以下,対象シーンの奥行きが複数の層にわかれていると仮定する.それぞれの層に焦点を合わせた撮像画像と所望の任意焦点画像の間に成立する位置不変の恒等式を導出し,これに基づいて複数の撮像画像を信号処理的に統合,任意焦点画像の生成を行う.たとえば奥行きが2層にわかれる場合,各層に焦点を合わせた撮像画像g₁,g₂および所望の任意焦点画像fを,ぼけ関数h_ij,h_a,h_bの画像全体への畳み込みを用いて,図1に示すような鮮鋭な近景のみ,遠景のみでそれ以外の領域が輝度値0と定義されるf₁,f₂の2層の重ね合わせにより表す.すなわち

　

　

　ここで,h_ijは撮像時に決まるパラメータであるが,h_a,h_bはユーザが指定するパラメータである.各ぼけがガウス関数による畳込みで表されるとすれば,畳込みの可換性により,(1),(2)式からf₁,f₂を消去して,

　

　を導くことができる.(3)式は前述の仮定の下で,撮像画像と目的とする任意焦点画像とぼけ関数の間になりたつ位置不変の恒等式となる.まず撮像の条件であるにより

　

　と整理できるが,さらに

　

　とすれば

　

　と書くことができる.h_ijを何らかの方法によって知ることができれば与えられたg及びhからfを求めるという基礎的な位置不変のぼけ復元問題と同様の式と条件が得られる.以上の定式化から明らかなように,本手法では原理的に領域分割を必要としない.また,3層以上でもまったく同様の議論を展開することが可能である.

図1:重ね合わせによる画像取得モデル

任意焦点画像生成のための具体的手順

　実際に一般的なカメラにより撮像した焦点合わせの異なる複数画像を用いて任意焦点画像の生成を行なうためには.上述したようなぼけ関数h_ijの決定のみならず,さらにそれらの前処理として,複数画像間での倍率変化等の補正を行なっておかなければならない.

　本論文では以上のような前処理のために2通りの手法を提案した.すなわち,

　・階層的マッチングに基づく倍率変化等の補正と統計的処理に基づくぼけ関数の推定

　・あらかじめカメラ特性を分析しておくことにより撮像時のカメラパラメータのみから倍率変化等の補正とぼけ関数の決定をともに行う

　とくに後者の手法では,撮象システムを整えておかなければならないものの,撮像画像ごとの処理を必要とせず,対象シーンがより多数の奥行きにわかれる場合でも容易に任意焦点画像生成のための前処理を行うことが可能である.

　次にこのようにして得られた(6)式を解くことで任意焦点画像を生成することができる.これについても

　・周波数領域上に変換することで任意焦点画像を求める

　・CGアクセラレータを用いた反復的復元による高速生成

　の2通りの手法について提案を行った.後者の手法では映像編集,映像生成という意味では実際に十分高速に所望の画像を得ることができた.前者の周波数ベースの手法も専用チップ化の可能性を期待させるものであり,将来的には動画像を対象としたリアルタイム処理への適用も考えれる.

　以上述べたどのような手順を用いても,図2に示すような撮像画像から図3のように各奥行き独立に焦点ぼけを調整した画像を生成することができる.このように本論文の提案する信号処理的統合手法によれば従来の焦点画像処理手法が目的としてきた全焦点画像のみならず,様々な任意焦点画像の生成が可能である.また,図3からも確認できるが、それぞれの層が仮定された奥行きからある程度ずれをもっていても十分良好に所望の画像が再構成可能であることも理論的に検討している.

図2:近景,遠景に焦点を合わせた撮像画像(倍率変化等補正後)図3:様々な任意焦点画像の生成

焦点画像処理に適した多焦点撮像システム

　本論文で論ずる様々な焦点画像処理を動画像に適用しようとすれば,焦点合わせの異なる複数の画像を同時に撮像しなければならない.そこで,図4に示すようにレンズを通過した光をプリズムにより3つの撮像面へと等分配し,これを図5のようなGPIによる同期録画の可能なPCベース非圧縮ディスクレコーダへと蓄積するシステムを提案する.このシステムに対し上述のカメラ特性の分析を行っておけば非常に容易に静止画から動画像まで様々な焦点画像処理が可能となる.なお,PCベースであるため,HDDに蓄積しないリアルタイム処理への展開も考えられる.

図4:多焦点カメラのヘッド部分の構造図5:多焦点画像撮像蓄積システム

　本論文では、以下の事を確認した.

　・焦点を合わせの異なる複数の撮像画像を信号処理的に統合することにより独立かつ任意に各奥行きに対応する領域のぼけを抑制,強調する画像(任意焦点画像)の生成が可能である.

　・その一般化や拡張まで含め,従来の焦点画像処理に比べ非常に多様な画像の生成が可能となった.

　・多焦点撮像システムにより動画像においても焦点画像処理を効率よく行うことが可能である.

　以上,焦点合わせの異なる複数の撮像画像の信号処理的統合に基づく映像生成手法およびそのための多焦点撮像システムが,撮像画像からの映像編集,映像生成により幅広い表現を持たせるために極めて有効であることが確認された.

　本論文は、「複数画像の信号処理的統合に基く焦点画像処理とその応用」と題し、異なる複数の焦点画像を用いることにより、シーン内のオブジェクトごとの視覚効果処理を線形処理により可能とする新しい処理手法を提案し論じている。本手法を用いることにより、撮像ずみの複数枚(通常2枚)の異なる焦点画像の線形統合処理のパラメータを変えるだけで、全焦点画像を生成したり、遠景と近景の焦点ぼけの度合いを独立に制御したり、遠景と近景に独立の視差や強調を加える等の処理がセグメンテーションを行わずに実現できる。本論文では、原理の提案に続き、合成画像と実写画像を用いた実験を通じての詳細な解析を行い、効率的な計算手法を論じるとともに、動画像への適用に必要とされる多焦点カメラの試作、実験を行っている。

　第1章は,「序論」であり、本論文の目的、背景を整理し、論文の構成を紹介している。

　第2章は,「画像の処理および統合に基づく精細な映像生成」と題し、画像の統合処理に基づく精細な画像取得に関する既存研究について概要を述べ、関連研究をまとめている。

　第3章は、「焦点合わせの異なる複数画像からの信号処理的統合に基づく任意焦点画像生成」と題し、焦点合わせの異なる複数の画像の処理により、単一の光学系では実現困難な全焦点画像、遠景と近景のオブジェクトに対し自由にぼけの程度を制御した画像(任意焦点画像)を生成する提案手法の原理について述べる。具体的には、複数の奥行きを持った対象シーンを仮定し,それぞれの奥行きに焦点を合わせた撮像画像と所望の任意焦点画像との間に成立する位置不変の恒等式を導き,これを反復的に解くことで所望の画像の生成を行う。この手法では、オブジェクトのセグメンテーションを行うことなく、撮像画像からの線形処理により所望の画像を生成することができる。合成画像を用いた実験により提案手法の精度を評価している。

　第4章は,「一般的なカメラを用いた焦点画像処理」と題し、実写画像を用いた焦点画像生成のために必要とされる前処理である複数画像間の撮像範囲のスケール、ずれの補正と撮像画像中のぼけ関数の決定について論じている。2つの手法を論じており、一方は、階層的なマッチングによる撮像画像間のレジストレーションと劣化予測に基づくぼけ関数の推定による画像処理を用いた手法であり、もう一方は、撮像に用いるカメラ特性をあらかじめ測定しテーブル化しておくことによる補正手法である。これらの手法を評価し、実写画像による映像生成を提示している。

　第5章は,「任意焦点画像生成のための演算手法」と題し、効率的な演算手法を論じている。まず、反復手法の収束性について論じ、そのあと、周波数領域での効率的な演算法を論じ評価している。さらに、ハードウエアとしてグラフィックアクセラレータを利用した場合の高速計算手法も実現している。

　第6章は,「信号処理的統合手法に基づく映像生成の一般化」と題し、前章までに論じた任意焦点画像の生成手法が多様な視覚効果処理に拡張可能であることを示している。一般の線形処理を行うことが可能であり、複数の撮像画像より、領域分割を介さず領域ごとに任意のフィルタリングを施したり、領域ごとに動きや疑似的な視差を与えた画像を直接生成することができる。合成画像、実写画像を用いてその評価を行っている。

　第7章は,「対話的処理との協調」と題し、ユーザによる最小限の対話的な処理を導入することによりさらに多様な画像の生成が可能となることを示している。提案手法が画面への一様な線形処理であることを利用し、分割画像を処理し統合する。このために、対話的に大雑把な領域指定を行い、指定領域ごとに処理し統合する。これにより同一の奥行きにオブジェクトが2つある場合でもそれぞれのオブジェクトごとに独立にぼけや視差を調整することができる。また、多層の奥行きをもつシーンを領域指定により分け少数の層数として扱うことにより、効率的に処理を行うことができることを示している。

　第8章は,「多焦点カメラシステムの構築とこれを用いた映像生成」と題し、本論文で提案する信号処理的統合に基づく映像生成に適した撮像システムに要求される条件を考察し、新しいカメラシステムの試作を行っている。提案された多焦点カメラは、3分割プリズムと前後動する撮像面により同時に3つの異なる焦点合わせで対象シーンを撮像することができる。このカメラシステムにより撮像した実写動画像による映像生成を行っている。

　第9章は,「結論」であり、本論文の成果をまとめ,残された課題や提示された今後の研究の方向性について整理している。

　以上、本論文は、異なる複数の焦点画像を用いることにより、シーン内のオブジェクトごとの視覚効果処理を線形処理により可能とする新しい処理手法を提案し論じている。本手法により、撮像ずみの複数枚の画像から、複雑なセグメンテーションを介することなく、オブジェクトごとに様々な視覚処理を施した所望の画像を直接生成することが可能であり、実写画像での実験を通じてその有効性を評価している。さらに、提案手法に適したカメラ撮像系を提案し試作している。この新しい画像処理手法は、ポストプロダクションにおける映像合成処理やVR環境での映像生成など今後のデジタルビデオ技術への幅広い応用を持つことが期待され、電子情報工学上貢献するところが少なくない。

　よって本論文は博士(工学)の学位論文として合格と認められる。