ステレオ画像による奥行推定は多くの技術的蓄積を有しており、また、レーザーレンジセンサー等が普及しつつある現在においても、高画質テクスチャと奥行データの位置合わせや動画撮影などように依然として優位を保っている分野もある。一方、映像メディアによるコミュニケーション・サービスにおいて、コンピュータグラフィックス(CG)やバーチャルリアリティ(VR)技術の目覚しい進歩が、これまでの見る対象としてのコンテンツを交換する「画像共有コミュニケーション」のスタイルから、画像空間としてのコンテンツに複数の人間が参与する「空間共有コミュニケーション」のスタイルヘの変革を可能にしつつあり、構造化表現され再構成された実写ベースの画像空間もその対象になる。現実の広大な自然シーンを構造化表現・再構成しようとするとき、シーンの高精彩なパノラマ画像すなわちテクスチャデータとそれに対応する正確かつ密な奥行データが必要になる。

　以上のような状況を背景とし、本研究においては、現実の広大な自然シーンを高品質かつコンパクトに構造化表現・再構成を行うためのトータルな技術開発を行う。その内容は、周囲環境入力装置の開発、ステレオパノラマ画像の作成法、密な奥行推定手法、空間のコンパクトな構造化表現記述法であるセッティング表現、セッティング表現をさらに一般的なシーンに適用するための要素技術などである。パノラマ画像の作成法、奥行推定手法、セッティング表現は、シーン構造化・再構成に直接関わる部分であり、本研究の中心となる。セッティング表現をさらに一般的なシーンに適用するための要素技術としては、現実シーンをセッティング表現によって再構成するために有益な2つの要素技術について述べる。一つは、センサス変換を利用した自然背景中の動オブジェクトの抽出手法であり、もう一つは、画像量の正規分布統計量に基づくガウス性雑音を用いることを特徴とするオクルージョンの充填手法である。

　周囲環境入力装置は3眼(カメラ)式で、カメラセッティングが自在であるため、パノラマ映像、ステレオ動画映像などの多目的な屋外撮影が可能である(図1)。

　この入力装置を手動でパンしながら取得した動画シーケンスから、画質改善を施して高品質なステレオパノラマ画像を得る(図2)。

　奥行き推定では、木立や山肌などのような、複雑な局所構造をもったテクスチャについてのステレオマッチングを正しく行うため、センサス変換画像のステレオマッチングとK平均アルゴリズム的な内挿法を用いた手法を導入する。さらに、領域競合法を導入して視差データの高密度化を図る(図3)。

　その次のプロセスとして、上記テクスチャ・奥行データをもとに、奥行知覚と簡単な視点移動を可能にするためのオブジェクトの平面近似表現であるセッティング表現を行う。さらに、その応用及び検証の一手段として、その結果を基にした仮想視点移動を行う。図4に左右に仮想視点移動したときの図2の金閣庭園シーン左手の手すりの見え方の変化の一例を示す。

　セッティング表現された画像空間に動オブジェクトを導入するため必要な技術として、サブピクセル精度に位置合わせしたオブジェクトについてセンサス変換による局所構造の照合を行い。一致度合いが高い部分を抽出するという動き領域抽出手法の有用性を示した(図5)。

　また、実写画像ベースの仮想空間内における視点移動等により生じるオクルージョンを補償するため、領域競合法による領域分割とノイズ生成を基本とする手法を提案した。(図6)

　以上、現実の広大な自然シーンを高品質かつコンパクトに構造化表現・再構成を行うためのトータルな技術開発及び検討を行った。実写シーン撮影のための入力装置を開発し、ステレオパノラマ画像の作成法、密な奥行推定手法を検討し、空間のコンパクトな構造化表現記述法であるセッティング表現としてシーンを再構成し、自然な仮想視点移動を実現した。さらにセッティング表現をさらに一般的なシーンに適用するための要素技術として動き領域抽出及びオクルージョン補償において、新たな技術開発を行った。

図1 周囲環境入力装置

図2 パノラマ画像(中央チャネル)

図3 視差データを高密度化したパノラマ視差画像

図4 金閣庭園シーン左手の手すりの仮想視点移動による見え方の変化

図5 対象画像と切り出し結果

図6 オクルージョン補償(補償前・補償後)

　本論文は、「ステレオベースの自然シーン構造化とその応用に関する研究」と題し、8章よりなる。本論文では、将来の空間共有コミュニケーションヘ向けて、実写に基づく自然シーンの構造化手法について論じ、ステレオパノラマ画像生成、高密度ステレオ解析、セッティング表現に基づく仮想視点移動、また、画像取得のための3眼ステレオ動画記録系の構築について述べている。

　第1章は、「序論」であり、本研究の背景と目的を論じ、その構成について述べている。

　第2章は、「映像メディアとコミュニケーション」と題し、映像メデイアによるコミュニケーションの動向を述べ、今後期待される空間共有コミュニケーションについて述べ、そのためのレイヤ表現に基づく空間表現の提案を行っている。

　第3章は、「3眼周囲環境入力装置」と題し、本研究の素材画像の撮影に用いる3眼ステレオ入力装置の構築に関して述べている。本装置は、カメラセッティングが自在であり、バッテリー駆動のカメラを利用するため、屋外での多目的な撮影を行うことができる。

　第4章は、「高精細ステレオパノラマ」と題し、3眼周囲環境入力装置にて取得したNTSC動画からの高品質なステレオパノラマ画像の生成を論じている。ステレオ画像の場合、左右チャネル独立にパノラマ画像を生成しては、全体のサイズ、視差の誤りが生じてしまう。これに対し、ステレオパノラマを誤りなく生成するための無みずみ条件を導出した。さらに、インタレース走査を考慮したフィールド統合を行い、無ひずみ条件の下でのステレオパノラマ画像の生成を行っている。また、非線形フィルタを適用し、最終的な生成画像のディスプレイ上での鮮鋭度の向上も行っている。新宿御苑、金閣寺で取得した画像について高品質パノラマが得られることを実証している。

　第5章は、「自然シーンの構造化」と題し、ステレオパノラマ画像に対してレイヤ構造を導入するために必要な高密度な視差を求める手法について論じている。提案手法では、ステレオ画像に対してセンサス変換というノンパラメトリックな変換を施し、画像の局所的なディテールを十分反映させた表現の下での視差推定を行う。次に、欠落している視差を補いより高密度な視差を得るために、視差と輝度を用いた領域競合法による領域分割を行っている。この2段階の処理を経て、ステレオパノラマ画像には、対象の奥行きに対応した密度の高い視差を求めることができる。

　第6章は、「セッティング表現と仮想視点移動」と題し、ステレオパノラマ画像にセッティング表現というレイヤ構造を持たせ、そのモデルに対する仮想視点移動を実現している。セッティング表現では、一つの対象領域が一つの平面で近似される。前章で求めた高密度視差を利用して、セッティング表現を決定している。なお、対象領域は、領域分割の結果を考慮しながら、手作業で指定している。この表現の下、3次元空間中での視点移動画像を再構成している。新宿御苑、金閣寺のシーンに対して実験を行っている。

　第7章は、「セッティング表現シーン構築のための要素技術」と題して、セッティング表現の構築のために役立つ2つの要素技術について論じている。一つは、動画像の領域分割であり、サブピクセルを考慮したセンサス変換を用いた輪郭精度の高い動物体の領域分割を論じている。他方は、視点移動によるオクルージョン部分の補償である。視点移動に伴い隠蔽されていた領域が現れる場合、割り当てるテクスチャがないという問題がある。このような部分のテクスチャを補償するため、領域分割画像を利用し、隠蔽領域と同一とみなされる領域の統計モデルに基づいて画像生成をすることにより、隠蔽領域のテクスチャの補償を行っている。

　第8章は、「結論」であり、本論文の成果をまとめている。

　以上を要するに、本論文は、将来の空間共有コミュニケーションのために必要とされる画像構造化手法について論じたものである。ひずみの無いステレオパノラマの生成手法、ステレオパノラマ画像からの高密度視差の推定、高密度視差から求めたセッティング表現による空間の構築により、実画像から写実性の高い空間表現を導いており、電子情報工学の進展に寄与するところが少なくない。

　よって本論文は博士(工学)の学位請求論文として合格と認められる。