動画像を効率的に圧縮符号化する方式として広く知られるに至った、変換・予測ハイブリッド方式に関して検討した。この中で、もっとも用いられているのは、DCT(離散コサイン変換)符号化方式とMC(動き補償フレーム間予測符号化)方式とのハイブリッド符号化方式(MC+DCT)であり、数々の国際標準化に採用されている。この方式の問題点を整理し検討するとともに、MCやDCTを他の方式で置き換えた方式を検討した。その結果、オーバーラップMC(OMC)方式とウエーブレット変換(WT)符号化のハイブリット化(WT+OMC)によって、主観的な画質が改善され得ることを示した。また、画像の階層表現上でのMC予測方式の効率を定量的に論じ、さらにロスレス符号化を可能にする修正方式についても論じている。

　この論文では、まずDCTと類縁関係をもつ、オバーラップ変換、サブバンド変換、ウェーブレット変換の体系について述べ、ウェーブレット変換符号化方式の可能性を検討する。DCT符号化方式が持つ、構造的な欠陥であるブロック歪みとモスキート雑音について論じる。サブバンド解析フィルタバンクとオーバーラップ変換とは数学的に等価であり、変換基底が端で減衰し、隣接基底間でオーバーラップするためにブロック歪を出さずに符号化できる。しかし、モスキート雑音も消せる訳ではない。これを抑制するためには、サブバンド解析フィルタバンクを改良した、ウェーブレット変換の導入が必要であることを示し、実際の画像においてブロック歪とモスキート雑音の両方が解決することを示した。

　次に、MC+DCT型ハイブリッド符号化方式の諸問題、特にエントロピー符号化技法の問題や、逆DCTミスマッチ問題について検討を行った。エントロピー符号については、MC+DCT型ハイブリッド方式を初めて採用したITU-T/H.261(テレビ電話用動画符号化)の国際標準化方式において、各種エントロピー符号を具体的に開発する必要があり、著者が取り組んだ。超低レートの符号化での一般的な問題点であるが、0次エントロピー値が1より遥かに小さな情報源を符号化するのがH.261である。符号変換部では、通常ハフマン符号化が用いられるのであるが、単純にそれを適用してもエントロピー値に即した符号化ができず、様々な技法を必要とする。

　まず、ブロックの動きベクトルがゼロで、さらにブロック内係数がすべてゼロという、いわゆる「無効ブロック」は低レート符号化では頻出し、これをいかに符号化するかは効率的符号化を行う上で重要なポイントとなる。無効ブロックをブロック付加情報によって表わす方式がまず考えられるが、そこからさらに進んで無効ブロックの列をランレングス符号化することが提案されていた。ただ、それでは符号手順が煩雑になるので、それを簡略化した「ブロックアドレス符号化」の効率を評価した。ここで設計されたコードテーブルは修正されたもののH.261に採用され、それに続く標準化方式でも用いられている。

　動きベクトルの符号化方式に関しては、筆者は適応差分動きベクトル法を提案し、H.261のシリーズやMPEGで今も踏襲されているが、ごく些細なテクニックなので、この報告書の中で詳細は省く。

　有効ブロック内のDCT係数符号化方式については、現在にいたるまで主流のZigzag-Scan+EOBコード法に対して、より効率的な方法を求めてその代替案をいくつか考案し、比較評価を行った。ゾーン符号化問題や適応スキャン法やランレングス法である。この評価では、ゾーン方式がより効率的であるという結果を得た。

　MC+DCT型ハイブリッド符号化方式でのもうひとつの問題は逆DCT(IDCT)ミスマッチである。MC+DCT符号化方式では符号化側にも復号側でもIDCT回路を持つが、これは本質的に無理数の演算であり、実際の回路では近似計算にならざるを得ない。符号化器と復号器でまったく同じ手順でmCTが行われれば、この演算精度は問題にならないだろう。しかし標準化方式として考えると、ミスマッチの可能性は常に現れ、予測符号化ループの中で誤差累積が起こり、復号画像を徐々に破綻させて行く。H.261の作業ではミスマッチを許容した上で定期的な(最長132フレーム)リフレッシュを符号化器に義務付けるというアプローチが取られ、この期間内に主観画質が損なわれないように1回あたりのIDCTミスマッチ誤差量を押さえることになった。

　本論文では、(1)ミスマッチ誤差累積が起こりかなり深刻な画質劣化が起こることをシミュレーション実験で示した。特に、ミスマッチ誤差の平均値が有意な値を持つ場合は経過時間の2乗に比例した誤差累積が起こることを示した。(2)そして、累積のメカニズムを解析して高速演算を用いた場合などはブロック内の特定箇所で累積速度が速まることなどを示した。この結果、変換ブロック内全体としての誤差評価とは別に、ブロック内の画素位置別に評価も行わなければいけないことが示された。(3)ループ内フィルタには累積速度を緩和させる効果があることを示した。(4)また、ループ内のフレームメモリの小数点以下精度をnビット上げれば、誤差累積速度は1/2のn乗に抑圧されることも示した。

　以上、MC+DCT型ハイブリッド符号化方式で2つの問題を取り上げて検討したが、この方式は構造的な欠点から逃げられない。DCTもMCもブロック単位の方式であり、符号化雑音としてのブロック歪は避けられないのである。高い符号化レートにおいては、その雑音を検知限以下に抑えることは出来ても、低いレートであればこうしたブロック歪の出現は避けられない。

　早くからDCTをLOTやサブバンド符号化で置き換えることにより、ブロック歪を回避しようとするアイデアは提出されていたが、そこにウェーブレット変換を用いれば、さらにモスキート雑音も抑制することができる。しかし、MC符号化方式との相性で問題を生じる。MCもまたブロック単位の処理であるから、予測画像も予測誤差画像もブロックで切り貼りしたような画像として現れる。信号上ではブロック端は切り立ったエッジなので、高周波を多く含んでいる。ウェーブレット符号化を採用すれば、そのブロック境界も符号化しなければならず、符号化効率は阻害される。

　そこで更に進んで、MCもオーバーラップMC(OMC)で置き換えるOMC+WT型のハイブリッド符号化方式を提案して、シミュレーション実験により評価した。このOMCで用いるMCブロックは、隣接ブロック間でオーバーラップしており、ブロック端に向かって減衰する窓関数が掛け合わされている。予測信号はこのブロック信号を加えあわすことで得られ、ブロック端でのエッジは発生しない。

　OMCの採用によって、ブロック歪が消えることと、予測誤差信号がMCの場合より低周波に電力集中し、符号化効率が上がることをまず確認する。そしてその上で、ウェーブレット変換係数が木構造でまとめられることに注目し、木構造データを効率的に走査してエントロピー符号化する方式を検討した。この方式によって、MC+DCTで用いられているZigzag-Scan+EOBコード法とほぼ同等の符号化効率を達成することができた。

　次に検討したのは、階層符号化方式(Layered Coding)におけるMC符号化効率である。符号化に画像の階層表現を組み入れる階層符号化は有望なアプリケーションが期待されているのにも拘わらず、符号化効率という点で問題を抱えていた。ここでは、サブバンド分割にMC符号化を組み合わせてハイブリッド化した階層化符号化方式で、なぜ符号化効率が下がるのかを解析する。

　フルバンド上でのMCと同等のことをサブバンド上で行うための計算式を導出した結果、以下のことが明らかになった。つまり、フルバンド上でのMCと同等のことを行うには、(1)各サブバンド内での操作だけではなく、サブバンド間にまたがる「クロスタームMC」を導入する必要があり、(2)サブバンド内MCもクロスタームMCも単純な画素位置シフト操作ではなくて、一般的な線形変換にMCの概念を拡張する必要があるのである。

　シミュレーション実験により、クロスタームMCの欠如によって1dB近い効率損が発生し、一般化MCであるべきところを画素位置シフト操作で置きかえることにより2dB近い効率損が発生していることを明らかにした。つまり、サブバンド内で単純なMCを行う限り、フルバンド上のMCより2〜3dB符号化効率は下がるのである。

　ここまでで、検討したのは非可逆符号化方式である。つまり、再生画像が符号化誤差を含むのを許容している。本論文で最後に検討したのは、再生画像が原画に完全に一致することを要求する可逆符号化、あるいはロスレス符号化と呼ばれる方式をハイブリッド符号化方式で実現する方法である。DCTは非可逆符号化の典型であり、DCTを組み込んだMC+DCTハイブリッド符号化方式ではロスレス符号化を行うのは原理的不向きとされてきた。ロスレス符号化を保証しようとすると、圧縮効率が落ちるのである。

　筆者が提案するのは、DCT行列を整数変換行列で近似してロスレス性を保証し、変換点構造の周期性を利用して冗長度を除去する可逆量子化である。この二つによって、DCTの符号化効率を引継ぎ、非可逆符号化との互換性を維持しながらロスレス符号化を行うことができる。

　変換点構造の周期性と、そこで定義する可逆量子化について検討した後、実際にロスレス符号化が可能であることを示す。そしてそのロスレス符号化時の符号化効率は、DCTが本来持つCoding Gainにのっとったものでありながら、従来の方法では達成できなかったものであることを示す。そして、MC+DCTハイブリッド符号化方式に適用した場合、最難度とされるビデオシーケンスに対しても70〜80Mbit/secで可逆符号化できることを示した。

　本論文は、「変換・予測ハイブリッド動画像符号化方式の研究」と題し、動画像の高能率な符号化を目的として、動き補償フレーム間予測符号化方式と離散コサイン変換符号化方式のハイブリッド(MC+DCT)方式の特性改善、オーバーラップMC(OMC)とウェーブレット変換(WT)のハイブリッド符号化方式の提案、ロスレスDCT符号化方式の提案など、筆者が行った一連の研究成果をまとめたもので、全体で7章からなる。

　第1章は「研究の背景と動機」と題して、動画像のディジタル圧縮方式の技術史を概観し、現在主流となっているMC+DCT型のハイブリッド符号化方式が登場して各種の国際標準化方式に採用される一方で、その方式を乗り越える試みがなされてきた経緯を述べて、本論文の位置付けを明らかにしている。また、本論文の目的と構成についても述べている。

　第2章は「画像符号化方式」と題し、本研究の基礎となる画像の圧縮符号化の諸方式を概観している。特にDCT符号化方式からサブバンド符号化方式、ウェーブレット変換符号化方式への変遷について述べ、ウェーブレット変換符号化が復号画像の主観画質向上に寄与することを明らかにしている。また、動き補償フレーム間予測符号化方式(MC)の技術的な変遷についても簡単に述べている。

　第3章は「MC+DCTハイブリッド符号化方式」と題して、この符号化方式の国際標準化に際して筆者が果たした貢献の内容について述べている。その一つはエントロピー符号化方式に関するもので、無効ブロックのスキップ方式ならびに有効ブロック内のDCT係数の効率的な符号化方式などの検討を行っている。また、新たにゾーン符号化方式を提案して、その符号化効率が従来方式も改善されることを実証している。

　いま一つの貢献は、逆DCT演算ミスマッチ誤差についてであり、逆DCT演算の際の演算誤差の発生過程と、そのブロック内での分布を定量的に議論している。その上で、MC+DCT型のように予測ループ内に実数演算を抱え込むタイプの符号化方式でミスマッチ誤差が発生して累積する過程を解析し、逆DCT演算誤差とミスマッチ誤差との関係を論じている。そしてミスマッチ抑制の方策として、ループ内フィルタの使用と、フレームメモリのビット精度を深くする2通りの案を提出している。

　第4章は「OMC+WTハイブリッド符号化方式」と題して、MC+DCT方式に代わる符号化方式について述べている。それは、MC+DCT方式が抱える構造的な問題であるブロック歪とモスキート雑音を解消するための提案であり、従来のブロックMCに代えてオーバーラップMC(OMC)を用い、DCTに代えてウェーブレット変換(WT)を用いている。OMCによって、従来のブロックMCよりも符号化効率が上がることをシミュレーション実験によって実証している。また、これまではサブバンド符号化の枠で議論されていたWT符号化方式をDCTと同じく変換符号化方式のスタイルで符号化することを主張し、それによ:ってOMC+WT型のハイブリッド方式を可能にしている。シミュレーション実験によって、WTのレート/歪み特性はDCTに僅かに劣るものの無視できる僅差であること、およびブロック歪とモスキート雑音の解消によって主観画質が向上することを示している。

　第5章は「階層表現上でのMC」と題し、サブバンドを用いた階層符号化における、MC符号化方式の効率について述べている。これは、画像を階層表現してからMC符号化を行うと符号化効率が劣化するという先行研究を受け、サブバンド型の階層表現上でのMCの解析を行ったものである。フルバンドでのMCと同等の符号化効率を得るためには各サブバンド内での処理だけでは限界があり、サブバンド間にまたがる処理の導入が不可欠であること、MCの概念を拡張した一般化MC(GMC)の導入が必要となることなどを示している。シミュレーション実験により、各サブバンド内でそれぞれ従来型のブロックMCを行った場合よりも2dB以上の改善があることを示している。また、サブバンド間にまたがる処理やGMCも導入しない場合でも、ブロックMCよりもOMCの方がサブバンド型の階層符号化方式に適していることも示している。

　第6章は「ロスレスDCT符号化を可能にする修正DCT符号化方式」と題して、DCT符号化方式と互換性を保ったまま、符号化歪みのないロスレス符号化を可能にする方式を提案している。まず、DCT方式でロスレス符号化を行うと符号化効率が上声らない理由を解析し、その知見を用いて2点アダマール変換(ハール変換)の効率的なロスレス符号化について論じている。また、それを一般化して4点DCT、8点DCTのロスレス符号化を提案している。

　このロスレス符号化は、変換行列の整数による近似と、整数行列変換における変換点の周期性を利用した可逆変換を用いることにより実現されている。シミュレーション実験を行い、これまでは符号化困難とされてきた動画像(ITU-R 601 4:2:2フォーマット)でも80〜90MbpsでDCT方式と互換なロスレス符号化が可能であることを示している。

　第7章は「まとめ」であり、本研究で得られた成果をまとめると共に、将来の展望について述べている。

　以上を要するに、本論文は、動き補償フレーム間予測符号化方式と離散コサイン変換符号化方式のハイブリッド(MC+DCT)方式による動画像符号化の特性改善を目的として、オーバーラップMC(OMC)とウェーブレット変換(WT)のハイブリッド符号化方式、サブバンド上の動き補償方式、ロスレスDCT符号化方式などの提案をおこない、その効果をシミュレーションなどによって確認したもので、今後の電子情報通信工学の進展に寄与するところが少なくない。

　よって本論文は博士(工学)の学位請求論文として合格と認められる。