画像は人間にとって最もなじみよい情報伝達媒体であり、放送・通信・記録メディアにおいて、その重要性はますます高まっている。ところが画像情報をそのままディジタル符号化すると、膨大な情報量が必要となり、実用上この情報量を大幅に削減する必要がある。一方、画像信号には多くの冗長度が含まれており、一般にこの冗長度を効果的に削減することにより画像情報圧縮が行われている。代表的なものとしては、静止画像用のJPEG、動画像用のMPEGがある。しかしこれらの方式では、処理系統を単純化するために、様々な画像に対して単一の符号化方式を適用している。そこで本研究では、符号化の対象となる画像の動きの種類に応じて、処理系統を枝分かれ的に適用することで、さらなる高能率符号化を目指した。とくに動画像符号化において、対象物の動きの種類や大きさに適応した補償処理について中心に研究を進めた。また、これらの動き補償処理を実現するために必要となる、焦点調節と距離推定についても合わせて検討した。 本研究では、動物体の平面内の動きやパン・チルト等のカメラワークにより生じる画面全体の平行移動に対応した2次元的な動き補償方式と、動物体の回転や奥行き方向の移動に対応した3次元的な動き補償方式の2種類の補償処理について検討を行った。具体的には、2次元的な動き補償としては3次元DCT方式と、動きに適応した変換係数の走査方式を用いた。また、3次元的な動き補償としては、頂点情報に着目した立方体の動き補償方式を提案し、立体対象物の動き補償に伴う撮像レンズ系固有の歪み補正について検討を行った。加えて、DCT変換時に発生するブロック歪みやモスキート雑音を低減するための手法として、輪郭に適応した可変ブロック処理についても評価を行った。 さらに、これらの動き補償処理を行うために必要となる周辺技術として、焦点調節と距離推定を実現する処理手法について検討した。ここでは、画像入力時に行われる焦点調節を用いて、対象物が平面内の動きか奥行き方向に動いているか判断することで、前述の2次元的な動き補償と3次元的な動き補償を使い分ける。加えて、奥行き方向の動き補償処理を行う場合に必要となる対象物までの距離を推定する手法について検討を行った。具体的には、焦点調節方式としてはディジタル処理系に適応が容易な、Haar Wavelet変換を用いた焦点検出方式について検討を行った。また、距離推定方式としては単一画像からテクスチャに依存せずに距離推定を行うために、偏自己相関分析を用いた焦点ボケ量推定手法を提案し、その処理能力についても評価を行った。 本論文は、1章より7章から成っており、その各章の内容は次の通りである。「1章序論」では、本研究が果たす役割について明確にするために、研究の背景、必要性、目的、方針について述べた。「2章動き補償方式と焦点調節、距離推定」では、本研究の2つのテーマである「動き補償方式」と「焦点・距離推定方式」の関係について述べた。さらに、現行符号化方式について問題を提起し、それらの対策処理を示した。「3章Wavelet変換を用いた焦点検出」では、5章と6章で述べる動き補償方式を、能率的に切り換えるために必要な焦点検出処理について、Wavelet変換の適用を提案した。「4章焦点情報を用いた距離推定」では、3次元的な動き補償に不可欠な距離情報の推定について、焦点ボケ情報を用いた、単眼単視点(単一画像)からの距離推定方式を提案した。「5章平面内の動きに適した補償処理」では、カメラワークや動物体の2次元的な動きにより生じる平面内の動き補償処理に、3次元DCTと適応走査を用いた場合の効果を示した。「6章奥行き方向の動き補償処理」では、動物体の3次元的な動きに対して、多面体を例に頂点情報を利用した3次元的動き補償方式を示した。「7章結論」では、本研究により得られた実験結果から、その成果について検討し、本研究をまとめた。 3章では、ディジタル信号処理系における自動焦点検出装置の簡素化を目的に、Wavelet変換の適用について検討し、試作装置を用いてその有効性を明らかにした。ここでは、ディジタル信号に適用が容易なHaar Wavelet変換を使用し、各出力段のハイコンポーネントにあたる領域の電力偏在を測定し、山登り制御を行うことでフォーカス領域の識別を行った。計算機シミュレーションを用いて、従来のFFTやwalsh変換方式と比較し有効性を確認した後に、試作器を製作したところ、良好な識別結果が得られた。試作器においては、交差領域の電力和がHaar単位基底との積和算だけにより容易に求められる性質を利用したため、通常の多段構造に比べ、数十分の一程度の積和算器で実現された。 4章では、単一画像から距離推定と焦点調節を同時に実現するために、偏自己相関分析を用いて焦点ボケ量を推定し、焦点から対象物までの距離を測定する手法を提案した。ここでは、分析能力を向上させるために、周波数次元の前処理を用いて、信号の一次元化と高周波帯域削除を行った。その結果、安定した分析結果を、高速に算出できるようになり、偏自己相関分析を用いて焦点からのズレ距離を推定し、対象物までの距離を測定する可能性を示した。 5章では、従来方式の動き補償の代わりに、フレーム間の冗長度もDCT変換を用いて削減する3次元DCT変換方式について検討した。ここでは、DCT係数の3次元走査の仕方によって、伝送符号量や復元誤差が変化する点に着目し、画像の絵柄や動きに応じて、4種類の3次元走査方式を適応的に切り替えることで、符号化効率が向上することを確認した。計算機シミュレーションの結果、固定走査方式に比べて、量子化後の係数をすべて送る場合には伝送符号量が節約でき、伝送するDCT係数の個数を制限した場合でも画質の劣化を少なくできることが明らかになった。 6章では、動物体の奥行き方向の移動に対して、能率的に動き補償を実現するために、3次元的動き補償処理方式について検討した。ここでは、3次元物体の3次元的動き補償の初期検討として、立方体の3次元的動き情報の抽出法と、合成画像作成法について提案した。その結果、模様のある立方体からの構成要素の抽出が可能になり、この構成要素である頂点の位置変化を動き情報として利用し、面の消失・出現等の情報を検出することができた。また検出された3次元的動き情報を利用して、面の座標変換を行うことにより、正確な移動物体画像を合成できることを示した。 本研究では、動画像符号化方式の動き補償処理として、動きに適応した3次元走査を用いたDCT符号化と、多面体の3次元的な動き補償に有効な処理方式を提案し、その処理能力を評価した。さらに、動きに適応したかたちで、これらの動き補償方式を切り換える手法を提案した。実験の結果、カメラワーク等により画面全体が平行移動する場合や、動物体が画面上を平行に移動している場合には、前者の3次元DCTが有効であり、また動物体が奥行き方向に動いている場合には、後者の3次元的な動き補償方式を適用することで、能率的に動き補償処理が実現されることがわかった。 また、動き補償方式の前処理として、焦点調節方式と距離推定方式について検討した。焦点調節方式については、Haar Wavelet変換を適用することで、ディジタル信号系に適した処理方式を簡素化することができた。さらに、距離推定方式としては、偏自己相関分析を用いた焦点ボケ量の推定手法を適用し、単一画像からの距離推定能力を評価した。これらの前処理により、動物体を正確にとらえ、さらに動物体までの距離を推定することで、前述の動き補償処理の精度向上が可能になった。 |