映像技術の進化はこれまでに、写真・グラビア等の画像印刷、映画・TV放送等の映像配給、VTR・DVD・HDDムービー等の撮影記録機器、携帯電話・インターネット等への映像通信等の産業を次々に生み出し、人々の生活をより豊かにする文化と利便性を提供して来た。今後の映像技術は、更なる高品質化・高臨場感化を目指して立体映像を取り込み、超臨場感シネマ、立体TV放送、没入感通信等の新産業創出の原動力になると思われる。しかしながら現時点で得られる立体映像は、立体感要因の一部しか使わないものが多く、立体視を行う器機・装置の制約があったり、長時間の看視で疲労や頭痛が生じるといった課題がある。これを解決する,完全に光線空間を再現するホログラフィーや超多眼映像は、大量かつ高精度・高速のハードウエアを必要とし、大画面高精細な動画への実用化は困難である。更に、大画面・高精細化する立体映像の総合品質評価方法は未だ確立されていない。

そこで本論文では、今後の立体映像配信による新産業創出に貢献するため、以下の3つのステップに従って、立体映像配信に関する重要検討課題を中心に議論し具体的に解決案を示した。

1.今後開発される立体映像方式・機器の姿を理想に近付ける為には,どの様なパラメータを用いた評価を行えばよいか?

2.この評価に耐える,看視者に負担を掛けない理想的な立体映像を生成する為には,どの様な立体映像方式が良いか?

3.更に立体映像配信サービスに必要な,膨大な量の立体映像データをコストパフォーマンス良く伝送・蓄積する為には,どの様な圧縮符号化方法が望ましいか?

本論文の構成は、上記課題の整理と解決案の提案および、その実験検討結果をまとめたものであり、第1章は、「序論」とし、本研究の目標および目的、立体映像の望ましい形態の模索と研究課題について述べ、本論文の構成を示す。

第2章は、「研究の背景と関連研究」と題し、まず立体映像方式に関して、2眼ステレオ映像・多眼立体映像の研究、光線再生よる立体映像の研究、奥行標本化による立体映像の研究等をレビューし、現状と課題を述べる。次に、立体映像符号化技術に関して、MPEG-2マルチビュープロファイル、光線空間法、コンピュータビジョンによるアプローチ等に関して、その現状と課題を明らかにする。更に、この様にして実現される立体映像の品質評価について、立体映像の総合品質評価の研究、臨場感評価、立体映像の画質評価の研究、大画面映像の没入感評価の研究をサーベイし、現状と課題を述べる。

第3章は、「立体映像配信に関する画像品質評価法及びシステム構成技術の概要」と題し、本論文で検討するテーマの概要を説明する。先ず第1のテーマは、理想的な立体映像の要件を整理し、現状の立体映像がどの程度その要件を満たしているかを主観的・客観的に計測する手法を確立する事である。第2のテーマは、本論文で提案する手法による計測実験の結果から示される、理想立体映像として立体視の要因を全て満たす立体映像を効率良く生成する方式を確立する事である。第3のテーマは、本論文で提案する立体映像方式としての空間標本化法の検証実験を通じて明らかになる、立体映像の自由視点化に不可欠な、多視点からの映像取得に伴う課題である、膨大なデータ量の立体映像を高精度かつ効率良く圧縮・符号化する方式の確立である。本章では、これらのテーマを解決する方法の提案と、その有効性を検証実験を通じて明らかにし、立体映像配信の実用化に貢献する事を述べる。

第4章は、「3次元立体映像の評価技術」と題し、理想的な立体映像を目指す為の品質評価方法として、立体映像から得られる物理パラメータの積からなる評価尺度を定義し、立体映像の総合品質評価に用いる事を提案する。この評価尺度の特徴は、看視者のばらつきや、映像コンテンツに依存する偏りを避け、定量的・普遍的な評価尺度を提供出来る事であり、その為の評価パラメータの組み合わせ方と、評価値の導き方を提案し,マルチ画面立体CG画像、大画面立体CG動画、大画面立体アニメ、大画面立体自然映像、及び実写合成混合映像をそれぞれ計測した結果を主観評価結果と照合してその整合性を検証し、映像が非実写の合成映像で、映像コンテンツの影響を除去しきれない場合は、コンテンツ依存パラメータとして映像の本物らしさ係数の導入が有効である事を示すと共に、立体映像の評価結果から、理想立体映像に近づける為には、画素数の増加と立体感要因を全て満たす立体方式が重要である事を示す。

第5章は、「3次元立体映像の生成技術」と題し、前章の立体映像評価結果を踏まえて、立体感要因を全て満たす理想的な立体映像方式として、空間標本化法を提案する。この方式の特徴は、3次元の実空間を3次元の小映像空間に射影してサンプリングするもので、再生される映像は実際に奥行を持った実像として看視出来るので、輻輳と調節の乖離と言った従来の問題が解決され、理想的な立体映像を効率良く提供する事が出来る。ここでは、この方式の原理と、実現に必要な多層型立体映像入力デバイス、多層型立体映像表示デバイスの構造について論じると共に、投射型立体映像実現に必要な屈折スクリーンの構造についての検討を行う。更に、上述した空間映像の標本化に伴って発生する不要なボケ映像の除去方法を提案し、検証実験を通じてその有効性を確認する。又、多層映像の輝度分配によるアンチエイリアス効果を用いた奥行分解能の増強について検討・考察すると共に、高品質化検討として、オクルージョン問題の考察と、CG映像と実写映像を融合したハイブリッド立体映像の合成方法を論じると共に、十分な運動視差の確保には、マルチカメラによる多視点からの映像取得が必要である事を述べる。

第6章は、「3次元立体映像の符号化技術」と題し、5章の検討結果から必要となる、マルチカメラによる多視点映像の高能率・高画質な圧縮符号化方式として、オブジェクトの面傾斜適応視差補償予測符号化方式を提案する。この方式の特徴は、各カメラへのオブジェクトの射影映像を小ブロックに分割し、カメラの相対位置情報を利用した透視射影に基づく映像間のブロックマッチングを行うことにより、高精度の視差補償予測を実現する事である。ここでは、本提案方式が、多視差映像間の相関を直接利用して圧縮する方式の為、オブジェクトの形状を求める必要がなく、多視点映像の圧縮に適する事や、視差情報間の規則性を利用して、高速・高能率に予測が行える事を示す。更に、上述の多視点立体映像の高画質符号化を実現する、オブジェクトの面傾斜に適応した視差補償予測符号化方式の確認実験を、片方向予測、双方向予測、ブロックサイズ適応、ブロック形状適応の順に行い、その効果を確認・検討すると共に、予測に用いた視差情報の高能率符号化方法として、ブロックの形状情報をMPEG等の符号化ツールを用いて非可逆圧縮する方式の提案と、視差ベクトルを共通化したものを非可逆圧縮して視差補償予測に用いる方式の提案とその検証を行う。

第7章は、「結論と今後の課題」と題し、本論文で提案した立体映像配信に関する画像品質評価法及びシステム構成技術のまとめを行い、これらの技術が理想立体映像の配信に有効である事を述べる。具体的には、提案の立体映像総合品質評価法は、映像品質を物理パラメータで表すと共に、映像コンテンツの影響を加味する事により、主観評価に整合した計測が出来るので、今後普及する大画面立体映像の品質改良の指標として有益である事を述べる。又、この様な理想立体映像生成方式として提案した、空間標本化法による立体映像方式は、自然な実像型立体映像をコストパフォーマンス良く提供する事が可能で、従来の立体映像の課題を解決し、立体シネマや立体TVなどの立体映像配信の普及に有望と思われる事を述べる。次に、この方式をマルチカメラに適用して、大きな運動視差を持つ立体映像や自由視点映像の配信等のサービスを実現する為に必要な、多視点映像の圧縮方式として提案する、オブジェクト面の傾きに適応した視差補償予測符号化方式は、高能率・高画質な立体映像配信に有望である事を述べる。

今後の研究テーマとしては、提案した立体映像の品質評価法の実用化検討や、空間標本化法による立体映像を実現する為の、多層型映像入出力デバイスや屈折スクリーンの開発及び、それを通じた立体シネマへの応用展開や、オブジェクトの面傾きに適応した視差補償予測方式をend-to-endの符号化・復号化システムに適用する為の検討と、立体映像に適合するセキュリティ・著作権保護技術との組み合わせの検討等の、立体映像コンテンツの配信応用に関する将来研究の方向性に付いて述べる。

以上をまとめると本論文は、理想的な立体映像の配信サービスを実現する為に必要な技術として、立体映像の総合品質評価方法を提案すると共に、この評価を通じて理想立体映像の目標要件を明らかにすると共に、この目標を効率良く実現する立体映像生成方法として空間標本化法を提案し、その実現可能性を検証すると共に、これを更に完全な理想立体映像に近づける為に必要な、マルチカメラ構成にした場合の多視点映像の高能率・高画質な符号化方式を提案すると共に、その有効性を客観的・定量的に検証・考察したものである。

本論文は、「立体映像配信に関する画像品質評価法及びシステム構成技術に関する研究」と題し、今後の立体映像配信による新産業創出に貢献するため、以下の3つのステップに従って、立体映像配信に関する重要検討課題を中心に議論し具体的に解決案を示した。

1.今後開発される立体映像方式・機器の姿を理想に近付ける為には,どの様なパラメータを用いた評価を行えばよいか?

2.この評価に耐える,看視者に負担を掛けない理想的な立体映像を生成する為には,どの様な立体映像方式が良いか?

3.更に立体映像配信サービスに必要な,膨大な量の立体映像データをコストパフォーマンス良く伝送・蓄積する為には,どの様な圧縮符号化方法が望ましいか?

本論文の構成は、上記課題の整理と解決案の提案および、その実験検討結果をまとめたものであり、具体的には以下の章構成にて上記課題の解決方策を提案、有効性実証を行っている。

まず第1章では、「序論」とし、本研究の目標および目的、立体映像の望ましい形態の模索と研究課題について述べ、本論文の構成を示している。

第2章では、「研究の背景と関連研究」と題し、まず立体映像方式に関して、2眼ステレオ映像・多眼立体映像の研究、光線再生よる立体映像の研究、奥行標本化による立体映像の研究等をレビューし、現状と課題を述べる。次に、立体映像符号化技術に関して、MPEG-2マルチビュープロファイル、光線空間法、コンピュータビジョンによるアプローチ等に関して、その現状と課題を明らかにする。更に、この様にして実現される立体映像の品質評価について、立体映像の総合品質評価の研究、臨場感評価、立体映像の画質評価の研究、大画面映像の没入感評価の研究をサーベイし、現状と課題を述べている。

第3章では、「立体映像配信に関する画像品質評価法及びシステム構成技術の概要」と題し、本論文で検討するテーマの概要を説明する。先ず第1のテーマは、理想的な立体映像の要件を整理し、現状の立体映像がどの程度その要件を満たしているかを主観的・客観的に計測する手法を確立する事である。第2のテーマは、本論文で提案する手法による計測実験の結果から示される、理想立体映像として立体視の要因を全て満たす立体映像を効率良く生成する方式を確立する事である。第3のテーマは、本論文で提案する立体映像方式としての空間標本化法の検証実験を通じて明らかになる、立体映像の自由視点化に不可欠な、多視点からの映像取得に伴う課題である、膨大なデータ量の立体映像を高精度かつ効率良く圧縮・符号化する方式の確立である。本章では、これらのテーマを解決する方法の提案と、その有効性を検証実験を通じて明らかにしている。

第4章では、「3次元立体映像の評価技術」と題し、理想的な立体映像を目指す為の品質評価方法として、立体映像から得られる物理パラメータの積からなる評価尺度を定義し、立体映像の総合品質評価に用いる事を提案している。この評価尺度の特徴は、看視者のばらつきや、映像コンテンツに依存する偏りを避け、定量的・普遍的な評価尺度を提供出来る事であり、その為の評価パラメータの組み合わせ方と、評価値の導き方を提案し,マルチ画面立体CG画像、大画面立体CG動画、大画面立体アニメ、大画面立体自然映像、及び実写合成混合映像をそれぞれ計測した結果を主観評価結果と照合してその整合性を検証し、映像が非実写の合成映像で、映像コンテンツの影響を除去しきれない場合は、コンテンツ依存パラメータとして映像の本物らしさ係数の導入が有効である事を示すと共に、立体映像の評価結果から、理想立体映像に近づける為には、画素数の増加と立体感要因を全て満たす立体方式が重要である事を示している。

第5章では、「3次元立体映像の生成技術」と題し、前章の立体映像評価結果を踏まえて、立体感要因を全て満たす理想的な立体映像方式として、空間標本化法を提案している。この方式の特徴は、3次元の実空間を3次元の小映像空間に射影してサンプリングするもので、再生される映像は実際に奥行を持った実像として看視出来るので、輻輳と調節の乖離と言った従来の問題が解決され、理想的な立体映像を効率良く提供する事が出来る。ここでは、この方式の原理と、実現に必要な多層型立体映像入力デバイス、多層型立体映像表示デバイスの構造について論じると共に、投射型立体映像実現に必要な屈折スクリーンの構造についての検討を行う。更に、上述した空間映像の標本化に伴って発生する不要なボケ映像の除去方法を提案し、検証実験を通じてその有効性を確認する。又、多層映像の輝度分配によるアンチエイリアス効果を用いた奥行分解能の増強について検討・考察すると共に、高品質化検討として、オクルージョン問題の考察と、CG映像と実写映像を融合したハイブリッド立体映像の合成方法を論じると共に、十分な運動視差の確保には、マルチカメラによる多視点からの映像取得が必要である事を述べている。

第6章では、「3次元立体映像の符号化技術」と題し、5章の検討結果から必要となる、マルチカメラによる多視点映像の高能率・高画質な圧縮符号化方式として、オブジェクトの面傾斜適応視差補償予測符号化方式を提案する。この方式の特徴は、各カメラへのオブジェクトの射影映像を小ブロックに分割し、カメラの相対位置情報を利用した透視射影に基づく映像間のブロックマッチングを行うことにより、高精度の視差補償予測を実現する事である。ここでは、本提案方式が、多視差映像間の相関を直接利用して圧縮する方式の為、オブジェクトの形状を求める必要がなく、多視点映像の圧縮に適する事や、視差情報間の規則性を利用して、高速・高能率に予測が行える事を示す。更に、上述の多視点立体映像の高画質符号化を実現する、オブジェクトの面傾斜に適応した視差補償予測符号化方式の確認実験を、片方向予測、双方向予測、ブロックサイズ適応、ブロック形状適応の順に行い、その効果を確認・検討すると共に、予測に用いた視差情報の高能率符号化方法として、ブロックの形状情報をMPEG等の符号化ツールを用いて非可逆圧縮する方式の提案と、視差ベクトルを共通化したものを非可逆圧縮して視差補償予測に用いる方式の提案とその検証を行う。

最後に第7章では、「結論と今後の課題」と題し、本論文で提案した立体映像配信に関する画像品質評価法及びシステム構成技術のまとめを行い、これらの技術が理想立体映像の配信に有効である事を述べている。具体的には、提案の立体映像総合品質評価法は、映像品質を物理パラメータで表すと共に、映像コンテンツの影響を加味する事により、主観評価に整合した計測が出来るので、今後普及する大画面立体映像の品質改良の指標として有益である事を述べる。又、この様な理想立体映像生成方式として提案した、空間標本化法による立体映像方式は、自然な実像型立体映像をコストパフォーマンス良く提供する事が可能で、従来の立体映像の課題を解決し、立体シネマや立体TVなどの立体映像配信の普及に有望と思われる事を述べる。次に、この方式をマルチカメラに適用して、大きな運動視差を持つ立体映像や自由視点映像の配信等のサービスを実現する為に必要な、多視点映像の圧縮方式として提案する、オブジェクト面の傾きに適応した視差補償予測符号化方式は、高能率・高画質な立体映像配信に有望である事を述べている。

以上をまとめると本論文は、理想的な立体映像の配信サービスを実現する為に必要な技術として、立体映像の総合品質評価方法を提案すると共に、この評価を通じて理想立体映像の目標要件を明らかにすると共に、この目標を効率良く実現する立体映像生成方法として空間標本化法を提案し、その実現可能性を検証すると共に、これを更に完全な理想立体映像に近づける為に必要な、マルチカメラ構成にした場合の多視点映像の高能率・高画質な符号化方式を提案すると共に、その有効性を客観的・定量的に検証・考察したものであり、以上の点において本工学分野に寄与することが大である。

よって、本論文は博士(工学)の学位請求論文として合格と認められる。