画像符号化方式は画像の通信,記録のために必須の技術であり,これまで幅広い産業の分野で活用されてきた.こうした画像通信,画像記録のシステムにおいては,近年の急速な撮像デバイスや表示機器の性能向上に伴い,利用される画像の解像度,画素数が急速に拡大している.同時に通信帯域やストレージデバイスの技術も進展しているが,こうしたシステムにおいて画像をいかに少ないデータ量で高画質に圧縮できるかという課題は,引き続き大きなニーズのある情報理論的な研究対象であるといえる.

これまで画像符号化方式の研究は,大学や企業を含め幅広い機関において検討が行われてきた.中でも画像符号化技術の進展に大きな役割を果たしてきたのが,ITU-T VCEG及びISO/IEC MPEGを中心に展開されている国際標準化活動である.画像符号化の国際標準化活動は,1990年のH.261の規格成立に始まり,1992年のMPEG-1,その後,MPEG-2やH.264/AVC等,VCEGとMPEGが協力と競争の関係を維持しながら,世界中の技術者の力を集結させるハブとなって発展してきた.現在,H.264/AVCの後継となるHEVCがVCEGとMPEGの共同チームであるJCT-VCにおいて検討されている.HEVCの目標はH.264/AVCに対して同等画質において圧縮率2倍であり,2013年初頭の成立を目指している.

このように画像符号化研究における中心的な課題は,高い画質を維持したまま低いデータ量を達成することにある.この圧縮性能を決定する大きな要因は,画像をいかにモデル化しコンパクトな表現を実現するか,ということにかかっている.これまで国際標準規格に採用されてきた画像符号化のモデルは,画面内及び画面間の予測と周波数変換を組み合わせたハイブリッド符号化モデルであった.一方で学会を中心にこの枠組みに囚われない新しいアプローチとして様々な取り組みも試みられてきたが,主流の方式となるまでには至らなかった.

本研究では,こうしたこれまでの画像符号化研究の流れの中から,画像が持つ時空間的な構造性に着目し,画像の符号化モデル全体を捉えなおすことによって,これまでの圧縮率の限界を超える改善方式を検討するという課題に取り組んだ.画像の時空間的な構造性を用いる観点とは,画素の空間的な連続性や,物体の移動に伴う時間的な連続性,あるいは,符号化モデルに起因する誤差や符号化モードの構造性等の情報を,復号画像の主観画質の向上や符号化における情報量削減に活用し,より効率的な圧縮を実現するというコンセプトである.これまでにも同様の手法は検討されてきたが,本研究では特に時空間的構造性の可能性をより広く検証するため,主観画質の向上を重視し,新しい評価手法,新しい符号化モデルを導入する実験的なアプローチと,国際標準化活動への貢献を視野に,客観画質の向上を重視し既存の符号化モデルの改善を行う実践的なアプローチの2つの観点から検討を行った.

まず主観画質を改善するアプローチからは,人間の視覚特性と画像の時空間的構造性の関係を利用した手法として,周辺誤差を利用したモード選択方式と有限ラドン変換を用いた方向適応符号化方式について提案し,さらにこれを新しい符号化モデルとして発展させた手法として方向適応型階層的画像分解方式について提案した.

既存の画質評価指標は画素単位の誤差を計測していたため,人間の視覚特性と一致しないという問題点があり,また既存の画像符号化モデルは水平・垂直方向の周波数変換をベースとしていたため,方向性を持つテクスチャの主観画質を考慮した量子化制御ができていないという問題点があった.これらの問題点を解決する方式として,周辺誤差を利用したモード選択方式では領域的な誤差計算による新しい画質評価指標を導入し,復号画像の主観画質において既存方式と比較してグラデーションの再現性が改善し,エッジ状ノイズの抑制に効果があることを示した.また,有限ラドン変換を用いた方向適応型符号化方式では,拡大縮小フィルタを使って既存の符号化モデルと方向性を考慮した有限ラドン変換による周波数変換を融合させ,方向成分を考慮した量子化を行うことによりテクスチャの特徴を維持した符号化が可能であることを示した.これらは誤差パターンや方向性に関する画像の構造性を主観画質の向上に適用したものである.

さらにこうした主観画質を重視した新しい符号化モデルの検討として方向適応型階層的画像分解方式を提案した.本方式は,方向性に関する画像の構造性を用いて画像の方向的な特徴を最もコンパクトに表現可能な画像の分解手法を検討したものである.この手法では,画素単位でL1ノルムによる方向推定を行い,階層的に画像分解を行う.これにより予測方向に関するサイド情報を伝送せずに完全再構成を実現でき,画像の方向的な特徴を効率的に記述できる.実験においてHaarやD5/3の離散ウェーブレット変換とエントロピーを比較し,ロゴ画像や鋭いエッジを持った画像を効率良く圧縮できる可能性を示した.

続いて客観画質を改善するアプローチからは,これまでの符号化の過程では画素の情報として内在化され,利用されていなかった情報を時空間的構造性を利用して抽出する手法として,画像反転による圧縮率向上方式,Look-up Tableとディザパターンを用いた画質改善フィルタ方式,及び参照画像間のデコーダ側動き予測による圧縮率向上方式を提案した.

画像反転による圧縮率向上方式では,符号化モデルにおける方向予測パターンの構造性を活用し,適応的な画像方向反転によって符号化効率を向上させる方式を提案した.これによりブロックの符号化順序の影響による方向に依存した冗長性が排除され,既存方式と比べ,一般的な自然画像に対して最大4.3%,特に適した人工画像に対して最大7.6%の符号量削減を実現できることを示した.

Look-up Tableとディザパターンを用いた画質改善フィルタ方式では,誤差とテクスチャの構造性を利用して画質改善を行う.本方式では逆ハーフトーン技術にて用いられるディザパターンによるテクスチャ分類の手法を応用し,局所的なテクスチャ毎に適切な画素補正情報を伝送する.実験により,LUTの符号量を含め,ビットレートとPSNRを既存方式と比較して画質改善効果があることを示した.

参照画像間のデコーダ側動き予測による圧縮率向上方式では,動き情報の構造性を内在的な情報としてベクトル符号量削減に活用した.本方式では,参照画像間の動き予測を導入することによりH.264/AVCにおけるSkip/Directモードの動きベクトル精度を改善し,H.264/AVCに対して平均5.66%,最大11.83%のビットレート削減効果があることを示した.

これらのうち,画像反転による圧縮率向上方式,及び参照画像間のデコーダ側動き予測による圧縮率向上方式については国際標準化活動での提案も行っており,今後さらなる検討により画像符号化方式の圧縮率向上に寄与することを目指している.

さらにこれら客観画質を改善するアプローチから提案された3つの方式については,手法の組合せによって符号化モデル全体の圧縮効率がどのように変化するかを調べ,新しい符号化モデルの検討方針について提案した.画像反転による圧縮率向上方式とLook-up Tableとディザパターンを用いた画質改善フィルタの組み合わせでは両者の改善幅を合計した圧縮率改善が可能であることを示し,画像反転による圧縮率向上方式と参照画像間のデコーダ側動き予測による圧縮率向上方式の組み合わせでは,幅広い種類の画像シーケンスに対して圧縮率改善が可能となることを示した.

このように画像の時空間的な構造性を利用するというコンセプトは,主観画質の改善と客観画質の改善の両面について効果があり,新しい符号化モデルの提案にも,既存方式の圧縮率改善にも活用可能であることが示された.こうした符号化モデルに対するコンセプトレベルの提案により,より広い視野で画像符号化方式の問題を捉えることができ,今後さらなる符号化技術の進展の場面において繰り返し活用可能することができる.今後,こうした考え方をさらに洗練させ,より高い圧縮率を実現可能な画像符号化モデルの提案を目指して検討を行っていく.

本論文は,「時空間的構造性に基づく高効率動画像符号化の研究」と題し,動画像符号化方式における圧縮率向上方式について体系的に議論し,特に,主観画質と客観画質のそれぞれの観点から,既存の動画像符号化方式の課題,これらに内在する冗長性について検討を行い,圧縮率の改善手法を提案して,より高効率な動画像符号化のモデルについて論じたものであり,全体で5章からなる.

第1章は「序論」であり,動画像符号化技術における現在の状況と課題をシステム技術,標準方式と符号化モデル,性能評価の条件と基準の観点から論じ,本論文の背景と目的を明らかにしている.

第2章は「画像符号化方式の研究動向」と題し,関連研究を概観し,国際標準化における主観画質評価と客観画質評価,国際標準化方式の代表としてのH.264/AVCと現在策定中のHEVCの概要,及び標準以外の画像符号化方式の概要を示しながら,本論文の位置付けを明らかにしている.

第3章は「時空間的構造性に基づく主観画質向上方式」と題し,主観画質の観点から既存の動画像符号化方式の圧縮率を改善する手法として,周辺誤差を考慮した画質評価指標の提案と符号化方式への応用,画像の方向性成分の主観画質を重視したハイブリッド符号化方式,画像の方向性成分の主観画質を重視した階層的画像分解方式の提案,について検討している.既存の画質評価指標は画素単位の誤差を計測していたため,人間の視覚特性と一致しないという問題点があり,また既存の画像符号化モデルは水平・垂直方向の周波数変換をベースとしていたため,方向性を持つテクスチャの主観画質を考慮した量子化制御ができていないという問題点があった.これらの問題点を解決する方式として,周辺誤差を利用したモード選択方式では領域的な誤差計算による新しい画質評価指標を導入し,復号画像の主観画質において既存方式と比較してグラデーションの再現性を改善し,エッジ状ノイズの抑制に効果があることを示した.また,有限ラドン変換を用いた方向適応型符号化方式では,拡大縮小フィルタを使って既存の符号化モデルと方向性を考慮した有限ラドン変換による周波数変換を融合させ,方向成分を考慮した量子化を行うことによりテクスチャの特徴を維持した符号化が可能であることを示した.これらは誤差パターンや方向性に関する画像の構造性を主観画質の向上に適用したものである.さらにこうした主観画質を重視した新しい符号化モデルの検討として方向適応型階層的画像分解方式を提案した.本方式は,方向性に関する画像の構造性を用いて画像の方向的な特徴をコンパクトに表現可能な画像の分解手法を検討したものである.この手法では,画素単位でL1ノルムによる方向推定を行い,階層的に画像分解を行う.これにより予測方向に関するサイド情報を伝送せずに完全再構成を実現でき,画像の方向的な特徴を効率的に記述できる.実験においてHaarやD5/3の離散ウェーブレット変換とエントロピーを比較し,ロゴ画像や鋭いエッジを持った画像を効率良く圧縮できる可能性を示した.

第4章は「時空間的構造性に基づく客観画質向上方式」と題し,客観画質の観点から既存の動画像符号化方式の圧縮率を改善する手法として,適応的画像方向反転を利用した画像符号化方式,局所ディザパターンを用いた適応的ループフィルタ方式,参照画像間の動き予測を用いた画像符号化方式,について検討している.画像反転による圧縮率向上方式では,符号化モデルにおける方向予測パターンの構造性を活用し,適応的な画像方向反転によって符号化効率を向上させる方式を提案した.これによりブロックの符号化順序の影響による方向に依存した冗長性が排除され,既存方式と比べ,一般的な自然画像に対して最大4.3%,特に適した人工画像に対して最大7.6%の符号量削減を実現できることを示した.局所ディザパターンを用いた適応的ループフィルタ方式では,誤差とテクスチャの構造性を利用して画質改善を行う.本方式では,逆ハーフトーン技術にて用いられるディザパターンによるテクスチャ分類の手法を応用し,局所的なテクスチャ毎に適切な画素補正情報を伝送する.実験により,LUTの符号量を含め,ビットレートとPSNRを既存方式と比較して画質改善効果があることを示した.参照画像間の動き予測を用いた圧縮率向上方式では,動き情報の構造性を内在的な情報としてベクトル符号量削減に活用した.本方式では,参照画像間の動き予測を導入することによりH.264/AVCにおけるSkip/Directモードの動きベクトル精度を改善し,H.264/AVCに対して平均5.66%,最大11.83%のビットレート削減効果があることを示した.これらのうち,画像反転による圧縮率向上方式,及び参照画像間のデコーダ側動き予測による圧縮率向上方式については国際標準化活動での提案も行っており,今後さらなる検討により画像符号化方式の圧縮率向上に寄与することを目指している.さらにこれら客観画質を改善するアプローチから提案された3つの方式については,手法の組合せによって符号化モデル全体の圧縮効率がどのように変化するかを調べ,新しい符号化モデルの検討方針について提案した.画像反転による圧縮率向上方式とLook-up Tableとディザパターンを用いた画質改善フィルタの組み合わせでは,両者の改善幅を合計した圧縮率改善が可能であることを示し,画像反転による圧縮率向上方式と参照画像間のデコーダ側動き予測による圧縮率向上方式の組み合わせでは,幅広い種類の画像シーケンスに対して圧縮率改善が可能となることを示した.

第5章は「結論」であり,本論文の主たる成果をまとめるとともに今後の課題と展望について述べている.

以上を要するに,本論文は,画像が持つ時空間的な構造性に着目し,主観画質と客観画質の改善に効果のある新しい符号化モデルを提案したものであって,動画像符号化,画像処理等の電子情報学の各分野の今後の進展に寄与するところが少なくない.

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.