[序論]

3次元 (Three dimensional: 3-D) 映像は医用,広告,娯楽などの幅広い応用が可能な直観的な表現方法である.数多くの3-D表示技術の中でも高密度平面画像とレンズアレイにより裸眼立体視が可能なIntegral Photography / Integral Videography (IP/IV) は医用を中心として研究開発が活発である.また,2-D映像が大型化,高精細化してきたように3-Dも平面的な大型化のみならず深度表現の拡張,奥行き表現の精密化ニーズが興ると考えられる.本研究では深度数十cmを超える長視距離IVを対象とする.長視距離IVの課題として微小なレンズ配置誤差でも拡大されて立体像が大きく歪むこと,機械的な構造を有するレンズアレイの大型化が困難であること,低解像度ゆえにコンテンツの有する情報の逸失が生じることの3点がある.各課題に対して「視覚フィードバックによる立体像の歪み補正」「変形を抑えた拡張容易レンズアレイ構造」「低解像度を補う特徴強調表示レンダリング」を考案,実装し,各要素技術を統合するシステム開発を行う.

[目的]

本研究の目的は,公衆用ディスプレイ分野などへの応用を可能とする長視距離3-Dディスプレイシステムの開発である.3-Dの手法として裸眼3次元立体視Integral Photography / Integral Videography (IP/IV) を選択し,歪みのない長視距離3-D映像実現のためにマシンビジョンを用いた3次元立体像歪み補正手法の提案と実装,大型化のためにスケーラブルな新しいレンズアレイ構造の提案・設計・試作と表現力向上のためのレンダリング手法の考案・実装を目的とする.

具体的には

1.長視距離裸眼3次元映像の歪み解消

立体像歪み補正手法の考案・実装

視覚フィードバック補正手法を用いた高密度平面画像補正手法の考案・実装

長視距離IP/IV画像作成理論の体系化

多視点画像からのIP/IV要素画像の変換手法

2. 長視距離IP/IVディスプレイのスケーラビリティ向上

拡張可能かつ堅牢な構造のレンズアレイの開発

大画面化に向けた拡張性の向上と堅牢性を高めたレンズアレイ構造の考案・製作

3. 長視距離IP/IVの低解像度を補うレンダリング手法の開発

IP/IVの表示特性に適応した特徴抽出・強調レンダリング手法の開発

長視距離IP/IVは再生像が粗密である特徴がある.それを補う表現力を向上するレンダリング手法の考案・実装

以上を目的とする.

[方法]

1) 視覚フィードバックによる長視距離像歪み補正

IP/IVは,表示オブジェクトがディスプレイ面から離れるほど,レンズ配置誤差が空間中の結像位置に与える影響が大きくなり,立体像が歪んでしまうという問題点がある.特に飛び出し距離が数十cm以上の長視距離型IP/IVにはこの傾向が顕著である.従来,この問題の解決策としてIPの高密度平面画像の作成をレンズアレイを通じてプロジェクタを使ってフィルムへの焼き付ることにより行い,同一のレンズアレイを通して再生することによりレンズアレイの誤差を打ち消すという手法が用いられていた.この手法は実時間で変化する映像への適用が不可能であるため,長視距離立体映像を実現するための新たな補正手法が求められていた.

本研究では歪みがある状態で表示した矩形テストパターンIVを撮影し,撮像からレンズの配置誤差を推定する手法を考案・実装した.提案手法の有効性の実験を行った結果,歪みの低減が確認された.

2) スケーラブルな長視距離レンズアレイ構造

飛び出し距離が数十 cmを越える長視距離用のレンズアレイは,平凸レンズを並べる機械的な構造により製造する.本研究ではIVディスプレイの大型化を目指すため,縦横二方向に拡張性を有し,従来のモジュール式レンズアレイの数倍の辺長を実現可能な,新しい構造を考案し試作した.骨格となるフレーム上にレンズアレイユニットを固定して大画面を実現する構造である.大型化した場合を想定した辺長に設定した結果,セル式レンズアレイ構造の最大変位量は0.00052 mmであり,モジュール式レンズアレイ構造の0.008801 mmの変位量に対して最大変位量が1/10以下になった.これにより構造の堅牢性が示された.

3) IP/IVの適応的レンダリング

IP/IVはレンズアレイのレンズ数が各視点の解像度に対応し,視点数が各レンズ背面画素数に対応するため,視点数と各視点の解像度がトレードオフとなり,高解像度化が困難であった.また,IV像はディスプレイ面から距離が離れるほど表示可能な空間周波数が低下する深度依存特性がある.本研究ではソフトウェア的なアプローチによる解決法としてコンテンツの有する特徴を抽出・強調表示するNon-photorealistic Rendering(NPR)の考え方をIVレンダリングへと導入する.多様な手法のあるNPRの中でも特徴線を追加して直観的で正確な理解を可能にするTechnical Illustration (TI) 調を採用した.特徴線の抽出法として3次元立体映像の必要な条件の視点間の特徴線の連続性とロバスト性を満たす深度と法線マップを併用する手法を適用した.さらにIV表示に適応的な手法としてIVの深度依存特性に適応的な動的閾値法を考案し,実装した.表示オブジェクトとして医用オブジェクトを選択して効果を確認した.

[考察]

提案した歪み補正手法は,一度レンズ配置情報を取得すればルックアップテーブルとして使え,実時間であらゆるコンテンツに適用可能であると考えられる.

セル式という二方向に大型拡張可能な構造を考案し,試作した.セル式構造によりIVの画素数に対応するレンズ数やディスプレイサイズを横方向のみならず縦方向にも自在に拡張可能になり,スケーラビリティが向上した.同時に変位量が従来の1/10以下になった.よって拡張が容易で剛性の高いセル式構造により,大型長視距離IVに不可欠な大型レンズアレイ実現に近づいた.

IVの低解像度,空間周波数の深度依存特性に適応的なTIの動的閾値法を考案し,実装した.閾値定数の決定を自動で行うとより有用であり,また多視点画像作成において,視点ごとに異なる処理を行うことでより表現力を向上できると考えられる.

[結論]

長視距離裸眼3次元立体映像Integral Videographyについて,歪みの解消,大型化,表現力向上の3点の要素技術の研究開発を行った.深度1m,レンズアレイ中央変形量1/10以下,直観的で正確な理解を可能にするレンダリングを実現した.本研究では,長視距離大型IVに必要な基盤技術を確立し,システムとして統合した.将来的には街頭3-Dディスプレイやディジタルサイネージなどの屋外ディスプレイなど幅広い応用が期待できる.

本論文は,公衆用ディスプレイ分野などへの応用を可能とする長視距離3次元ディスプレイシステムの開発で,その手法として裸眼視可能な実3次元立体表示Integral Photography / Integral Videography (IP/IV) を採用している.特に,動画が可能なIVの実現においては,微小なレンズ配置誤差でも拡大されて立体像が大きく歪むこと,機械的な構造を有するレンズアレイの大型化が困難であること,および低解像度ゆえにコンテンツの有する情報の逸失が生じること,の3点を解決する必要がある.この課題に対して「視覚フィードバックによる立体像の歪み補正」,「変形を抑えた拡張容易レンズアレイ構造」,および「低解像度を補う特徴強調表示レンダリング」を実装し,各要素技術を統合したシステムの開発を目指している.

具体的には下記の3点の開発を行っている.

1) 視覚フィードバックによる長視距離像歪み補正

IP/IVは,表示オブジェクトがディスプレイ面から離れるほど,レンズ配置誤差が空間中の結像位置に与える影響が大きくなり立体像が歪む.特に飛び出し距離が数十cm以上の長視距離型IP/IVにはこの傾向が顕著である.従来,この問題の解決策としてIPの高密度平面画像の作成は,レンズアレイとプロジェクタを使用して直接フィルムに焼き付け,同一のレンズアレイを通して再生することによりレンズアレイの誤差を打ち消していた.しかし,本手法は実時間で変化する映像への適用が不可能であるため,長視距離立体映像を実現するための新たな補正手法が求められていた.そこで,本研究では歪みがある状態で表示した矩形テストパターンIVを撮影し,撮像からレンズの配置誤差を推定する手法を考案・実装している.提案手法の有効性の実験を行い,歪みの低減を確認している.

2) スケーラブルな長視距離レンズアレイ構造

従来,飛び出し距離が数十 cmを越える長視距離用のレンズアレイは,平凸レンズを並べる機械的構造により製造していた.それに対して,本研究ではIVディスプレイの大型化を目指すため,縦横二方向に拡張性を有し,従来のモジュール式レンズアレイの数倍の辺長を実現可能な,新しい構造を考案し試作している.骨格となるフレーム上にレンズアレイユニットを固定して大画面を実現する構造である.大型化した場合を想定した辺長に設定した結果,セル式レンズアレイ構造の最大変位量は0.00052 mmであり,モジュール式レンズアレイ構造の0.008801 mmの変位量に対して最大変位量が1/10以下となり,レンズアレイ構造の堅牢性も確認している.

3) IP/IVの適応的レンダリング

IP/IVはレンズアレイのレンズ数が各視点の解像度に対応し,視点数が各レンズ背面画素数に対応するため,視点数と各視点の解像度がトレードオフとなるため,高解像度化が困難であった.また,IV像はディスプレイ面から距離が離れるほど表示可能な空間周波数が低下する深度依存特性もある.それに対して本研究では,ソフトウェア的なアプローチとして,コンテンツの有する特徴を抽出・強調表示するNon-photorealistic Rendering(NPR)の考え方をIVレンダリングへと導入している.特に,多様な手法のあるNPRの中でも特徴線を追加して直観的で正確な理解を可能にするTechnical Illustration (TI) 調を採用している.特徴線の抽出法として,3次元立体映像に必要な視点間の特徴線の連続性とロバスト性を満たす深度と法線マップを併用する手法を適用している.さらにIV表示において,IVの深度依存特性に適した動的閾値法を考案し,実装している.表示オブジェクトとして医用オブジェクトを選択して効果を確認している.

以上の結果から,提案された歪み補正手法は,一度レンズ配置情報を取得すればルックアップテーブルとして使え,実時間であらゆるコンテンツに適用可能であると考えられる. また,レンズアレイにおいてセル式という二方向に大型拡張可能な構造を考案し,試作した結果,セル式構造によりIVの画素数に対応するレンズ数やディスプレイサイズを横方向のみならず縦方向にも自在に拡張可能になり,スケーラビリティが向上している.特に,深度1mの表示が可能で,かつ拡張が容易で変位量が従来の1/10以下という高い剛性のセル式構造により,大型長視距離IVに不可欠な大型レンズアレイ実現に近づいている.さらに,IVに適応的なTIの動的閾値法を実装したことにより,直観的で正確な理解を可能にするレンダリングを実現している.これにより,長視距離大型IVに必要な基盤技術を確立したといえる.

よって本論文は博士(情報理工学)の学位論文として合格と認められる.