蓄積・配信で用いられる映像には被写体やカメラが激しく動いたり,照明が変化するといったシーンが頻繁に現れる.映像を効率的に蓄積・配信するためには符号化技術が必須であるが,初期の符号化技術は主としてテレビ会議への応用を想定していたため,激しい時間的変化が生じている映像を符号化対象とすることはほとんど考えられていなかった.近年では,ある程度大きな動きに対応するための手法が検討されているものの,映画やスポーツ映像のように激しい時間的変化が頻繁に生じる映像に十分対処できているとは言い難い.そこで本研究では,画面全体に激しい時間的変化が含まれる映像に対しても効率的な蓄積・配信が可能な符号化技術の確立を主な目的としている.

　第2章では,動きの激しい映像を対象とした符号化方式について検討を行なっている.すなわち,スポーツシーンのようにズームやパニングといった画面全体の動きが含まれている映像に対して有効な技術であるグローバル動き補償において,ズームとパニングにより生じるグローバルな動きを,少ない演算量で高精度に推定するための手法を提案している.具体的には,まず画面の中心に対して対称な2ブロックの動きベクトルから仮のグローバル動きパラメータを算出する.ブロック位置の対称性を利用することによりグローバル動きパラメータ算出式が簡略化できる.更に,上記のようにして算出された複数の仮グローバル動きパラメータの頻度を利用し,画面全体に対するグローバル動きパラメータを決定する.頻度を利用することにより,画面内に生じている個々の物体の動きに影響されずに正確なグローバル動きパラメータを推定することができる.本提案手法の演算量を,物体等の局所的な動きの影響を除去するために反復演算を必要とする従来手法に比べると,例えば1フレームのブロック数Nが330の場合には,表1に示すとおり,加算回数を約30%,乗算回数を約40%低減できる(従来手法の反復回数を1回と仮定した場合).実験により,画面内の局所的な動きに対する本提案手法のロバスト性を確認した.また,実験に用いたズームシーン映像に対して,本グローバル動き補償により,グローバル動き補償を用いない場合に比べてSN比が0.5〜1.2dB程度改善することを確認した.

表1 グローバル動きパラメータ推定に要する演算量

　次に第3章では,時間的変動が激しいもう一種類の映像として,画面全体に激しい輝度変化が生じている映像を対象とし,この種の映像に対して高い符号化効率を実現するグローバル輝度変化補償法を提案している.例えばコンサート映像では,照明の変化により明るさが頻繁に変化する場合がある.また,映像編集効果として多用されるフェードイン/フェードアウト部分では,画面全体に大きな時間的輝度変化が生じている.このような輝度変化を次式でモデル化する.

　ここで,I(x,y,t)は時刻tの点(x,y)における輝度値であり,cおよびdはフレーム単位に一定なパラメータである.これらをグローバル輝度変化パラメータと呼ぶ,また,時刻t-1の点(x’,y’)と時刻tの点(x,y)は動きを考慮した際に対応している点である.上式により得られる輝度値と実際の輝度値との二乗誤差が最小となる条件を与えることにより,グローバル輝度変化パラメータcおよびdを推定する.また,グローバル動き補償の場合と同様に,局所的な輝度変化の影響を除外するため小領域毎に仮グローバル輝度変化パラメータを算出し,それらの頻度により画面全体に対するグローバル輝度変化パラメータを決定する.一方,一般に輝度成分と色成分は独立に変化すると考えられる.そこで,まず輝度成分に対してグローバル輝度変化パラメータを推定し,それと同時に推定される動きベクトルを色成分のグローバル変化パラメータ推定に利用することで,色成分に対する推定処理を簡易化している.シミュレーション実験により,時間的輝度変化が生じている映像に対して本グローバル輝度変化補償を適用することにより,従来手法に比較してSN比で2〜4dBという大幅な改善効果が得られることを実験により確認した.

　第4章では,第2章で提案したグローバル動き補償法と第3章で提案したグローバル輝度変化補償法との処理の一部を共通化することによって,全体の演算量を削減しつつ両者の機能を統合した符号化アルゴリズムを提案している.具体的には,グローバル動きパラメータ推定およびグローバル輝度変化パラメータ推定の各処理の中で行われるブロック単位の動き検出を共通化している.その際,第3章のグローバル輝度変化パラメータ推定処理ではブロック毎の輝度変化パラメータと動きベクトルが同時に推定される手順を用いているのに対し,ここでは共通的に利用されるブロック毎の動きベクトルのみをまず検出するように手順を変更している.これにより,引き続き行われるグローバル動きパラメータ推定およびグローバル輝度変化パラメータ推定を並列に処理することが可能となる.また,ブロック毎の動きベクトル検出処理に要する演算量も大幅に削減できる.グローバル輝度変化パラメータ推定の処理手順変更およびブロック単位動き検出処理の共通化により,両補償技術を単純に組み合わせて両機能を実現する場合に比べ乗算回数を約0.25%,加算回数を約40%低減できることが分かった.4種類のテスト映像についてシミュレーション実験を行なった結果を図1に示す.図1において,(a),(b),(d)はグローバルな動きと輝度変化を含んでいるシーンに対する符号化特性であり,これらのシーンの一部には物体の局所的な動きや輝度変化も含まれている.同図から分かるとおり,高レートでは主にグローバル輝度変化補償が有効であり,低レートではグローバル動き補償による改善効果も現れてくる.これは,動きベクトルに必要な情報量の全体に占める比率が低レートほど高くなるためである.両補償法を統合した方式では,各補償法による改善効果を併せ持つ効果が得られていることが分かる.一方,同図(c)は静止画に対してズームとパニングによるグローバルな動きが生じているシーンに対する符号化特性である.なお本シーンにはグローバルな輝度変化は含まれていない.この場合にはグローバル輝度変化補償による効率改善効果はほぼ0であり,両補償法を統合した方式における改善効果はグローバル動き補償による効果とほぼ等しくなっている.これらの結果から,両補償法を統合した方式では各々の補償技術が適切な領域で有效に作用することにより,各々の補償法による効果を併せもつ効率改善効果が得られることが分かった.

図1 グローバル動き補償,グローバル輝度変化補償の有無による性能比較

　第5章では,蓄積・配信型映像提供のための基本機能を実現する符号化手法について検討している.フレーム間予測符号化では直前に符号化されたフレームを予測参照データとして利用するため,符号化データの途中から復号を開始しようとしても参照すべきフレームのデータが存在せず,映像を再生することができない.一方,映像の蓄積・配信にとって,ランダムアクセス再生機能や高速再生といった機能は不可欠であり,それを実現するためには符号化データの途中から復号可能であることが必須となる.この問題を解決するために,本章ではフレーム間符号化の中に任意の間隔でフレーム内符号化フレームを挿入する手法を導入している.導入手法においてはフレーム内符号化とフレーム間符号化が混在するため,両者への符号量の割当て方法が全体の符号化効率に大きな影響を及ぼすことを実験的に示し,その適切な符号量比についての知見を得ている.また,高速再生および可変転送レートへの対応という各機能をさらに柔軟に実現するため,フレーム内符号化部分に階層的符号化構造を導入している.これにより,全体の符号化ビットレートや符号量割当て方法に依存することなく,高速再生時のスピードや可変速度ネットワークに対応する符号化ビットレートを設定することが可能となる.

　以上のとおり,本研究では映像の蓄積や配信を魅力的に,かつ手軽に実現する技術の確立をめざして,それに関わる映像符号化技術について検討してきた.本研究で得られた成果は,映像の蓄積・配信技術を今後さらに発展させる上で,大きく寄与するものである.

　本論文は「蓄積・配信に適した映像符号化に関する研究 -時間的変化に対するグローバルな補償を中心とした検討-」と題し,蓄積・配信で主に対象となる時間的変化の多い映像に適した符号化方式,および映像の蓄積・配信に必要となる機能を実現する符号化方式について研究した結果をまとめたものである,研究にあたっては,従来の符号化方式による問題点を解決するための方式を提案し,その方式の符号化特性を定量的な実験データにより評価している.それらの結果は以下の6章にまとめられている.

　第1章は「序論」であり,本研究の背景と目的.および本論文の概要と構成について述べている.

　第2章は「グローバル動き補償法」と題し,ズームやパニングといった画面全体の動きが含まれている映像に対して、その符号化効率を改善する手法を提案している.ズーム・パンの動き量推定にあたっては,従来から広く用いられているブロックマッチング法によって算出されるブロック毎の動ベクトルを利用し,反復計算を行うことなく簡単な積和演算のみでズーム・パンの動き量を推定する手法が示されている.さらに,グローバル動き補償法の映像符号化への適用に際して,グローバルな動きと局所的な動きが混在する場合を考慮し,グローバル動き補償とローカル動き補償を動的に切替える適応化手法を提案している.

　第3章は「グローバル輝度変化補償法と符号化への応用」と題し,照明変化やフェード効果によって映像全体に生じる明るさや色の変化を補償する手法を提案している.映像符号化では一般に,映像を輝度信号を色差信号に分けて処理を行うが,動きについては対応する点の輝度信号と色差信号の動き量が同じであるとして扱う.一方,本章で対象としている変化では色の変化が明るさの変化とは独立に生じることがある.そこで,その場合を前提として色差信号の変化に対する補償についても検討を加えている.

　第4章は「グローバル動き・輝度変化補償を実現する符号化方式」と題し,第2章と第3章で提案した2つの補償技術を統合した符号化アルゴリズムを提案し,その符号化性能を評価している.その中で,グローバル輝度変化補償自体の処理の簡略化,およびグローバル動き補償とグローバル輝度変化補償との処理を一部共通化することによって,アルゴリズム全体の演算量削減を図っている.グローバル動き補償とグローバル輝度変化補償は,処理手順が類似しているものの削減する冗長性の種類が異なるため,本章で提案している手法により両補償法の演算処理を共通化しつつ,各々を独立に適用した場合の改善効果を併せ持つ効果が得られることを実験により示している.

　第5章は「蓄積・配信型映像提供の機能を実現する映像符号化」と題し,蓄積・配信型映像提供のための基本機能を実現する符号化手法について述べている.「任意シーンからのランダムアクセス再生」,「高速再生」,「単一符号化データでの複数ビットレートへの対応」の各機能を実現するため,本来は高効率化を目的として一般的に用いられているフレーム間符号化の中に,任意の間隔でフレーム内符号化を挿入することを提案している.その際,フレーム内符号化とフレーム間符号化が混在した場合の両者への符号量の割り当て方が符号化効率に与える影響について検討している.さらに「高速再生」および「単一符号化データでの複数ビットレートへの対応」という2つの機能の柔軟性を向上させるために,フレーム内符号化部分に階層的な構造を導入している.また,蓄積における「逆方向再生」機能の実現にあたっては,やはり高効率化に欠かせない技術である動き補償の利用が最大の問題であることを示し,その問題に対処する方法について検討している.

　第6章は「結論」であり,本研究の成果・到達点を要約して述べている.

　以上を要するに,本論文は,蓄積・配信で主に対象となる時間的変化の多い映像に対する符号化効率改善,および映像を蓄積・配信する際に必要となる機能の実現のために,種々の符号化方式の提案を行い,それらの提案手法の有効性を確認するために実験的評価を行ったものであり,映像符号化の分野に寄与するところ大である.

　よって著者は東京大学大学院工学系研究科における博士(工学)の学位論文審査に合格したものと認める.