学位論文要旨



No 216090
著者(漢字) 下川,英敏
著者(英字)
著者(カナ) シモカワ,ヒデトシ
標題(和) 多元情報源符号化における信頼性関数の解析
標題(洋)
報告番号 216090
報告番号 乙16090
学位授与日 2004.09.16
学位種別 論文博士
学位種類 博士(情報理工学)
学位記番号 第16090号
研究科
専攻
論文審査委員 主査: 東京大学 教授 合原,一幸
 東京大学 教授 原島,博
 東京大学 教授 杉原,厚吉
 東京大学 教授 竹村,彰通
 東京大学 教授 室田,一雄
 東京大学 教授 山本,博資
内容要旨 要旨を表示する

 複数の情報源からの出力系列には多くの場合相関があり,その相関を利用することによって,個々の情報源を独立に符号化・復号化する場合よりも,より効率的な圧縮が可能であることが知られている.このような多元情報源の符号化において,基本的なモデルとなるのがSlepian-Wolfシステムである.このモデルは,2組の情報源と符号器,および1つの復号器からなる.符号器はそれぞれ1つの情報源の出力のみを観測し独立に符号化するにも関わらず,相関を有する情報源に対しては,単一の情報源符号化における符号化レートの限界である各情報源のエントロピーよりも低い,条件付エントロピー等で特徴付けられる圧縮限界が達成できることが知られている.

 一般に多元情報源符号化においては,復号誤りを完全になくすことは困難であるために,固定長ブロック符号化を考え,符号化レートと復号誤り確率の関係を議論する.ブロック長が無限大の極限で誤り確率が0に収束するような符号化・復号化が存在する符号化レートの領域はSlepian-Wolf領域とよばれており,定常無記憶情報源をはじめ,定常エルゴード情報源,一般情報源などのさまざまな情報源のクラスについて研究されており,領域も決定されている.一方,ある符号化レートのもとで誤り確率が0に近づく指数関数的な速さを表わす信頼性関数については,一部のレート領域に関しては決定されているものの,定常無記憶情報源においても未解決である重要な問題である.また既存の研究においては,相関を有する情報源が定常無記憶情報源であると仮定して,信頼性関数を議論したものが主であった.

 本論文では,定常無記憶情報源や定常エルゴード情報源を含み,さらに非定常情報源などを含む,相関を有する一般情報源に関して多元情報源符号化の信頼性関数を議論する.本論文の大きな目的は2つあり,一つは信頼性関数の下界として知られているランダム符号化限界を,Slepian-Wolfシステムの特別な場合である,補助情報がある場合の情報源符号化について改善することである.もう一つはシャノンエントロピーの一般化として知られているレニーエントロピーを拡張した,条件付きレニーエントロピーを導入し,これと信頼性関数の下界あるいは上界との関連を議論することである.この条件付きレニーエントロピーは条件付きエントロピーの一般化ともとらえることができる.

 下界の改善に関しては,グラフの分解に関する補題を拡張し,これを利用することによって,復号誤り確率の上界を導出し,信頼性関数の下界を定める.同じ符号語に符号化される情報源の出力系列を2つ考えるときに,互いに誤って復号されてしまう確率は,補助情報を含めた確率分布のある種の「近さ」と深い関係がある.システム全体の復号誤りは,これらの確率の総和として評価することができる.本論文では,拡張された補題を用いて,これら誤り確率に寄与する系列の組を均等に符号語に割り当てることによって,全体としてより小さな誤り確率を達成するような符号化が存在することを示す.これは,定常無記憶情報源に対する従来手法を,適用方法は異なるが,一般情報源に対しても適用可能であることを示している.また,実際に下界が改善されていることを確認するために,定常無記憶情報源に関してランダム符号化限界との比較を行った.

 定常無記憶情報源に関する単一情報源符号化においては,レニーエントロピーと信頼性関数との間に双対関係があることが知られている.これは,レニーエントロピーが信頼性関数の$eta$-カットオフレートと呼ばれるものに相当することを意味する.本論文では,相関を有する無記憶情報源に関する信頼性関数の上界と下界を表わす指数と,条件付きレニーエントロピーとの間にも双対関係があることを示す.特に上界と下界が一致している低レート領域においては,これは信頼性関数との双対関係を意味する.一般情報源に関しては,1文字あたりの条件付きレニーエントロピーの極限が,ランダム符号化限界の指数のβ-カットオフレートになっている.また,情報源を特徴づけるエントロピースペクトル上限や下限などと,レニーエントロピーの極限との関係を議論する.エントロピースペクトル上限は,漸近的に復号誤り確率が0になる符号化レートの限界に対応していることが知られているが,レニーエントロピーの極限は.誤り確率が指数的に減少するレートの限界と深い関係がある.

審査要旨 要旨を表示する

 複数の情報源からの出力系列には多くの場合相関があり,その相関を利用することによって,個々の情報源を独立に符号化・復号化する場合よりも,より効率的な圧縮が可能であることが知られている.このような多元情報源の符号化において,基本的なモデルとなるのがSlepian-Wolfシステムである.このモデルは,2組の情報源と符号器,および1つの復号器からなる.符号器はそれぞれ1つの情報源の出力のみを観測し独立に符号化するにも関わらず,相関を有する情報源に対しては,単一の情報源符号化における符号化レートの限界である各情報源のエントロピーよりも低い,条件付エントロピー等で特徴付けられる圧縮限界が達成できることが知られている.

 一般に多元情報源符号化においては,復号誤りを完全になくすことは困難であるために,固定長ブロック符号化を考え,符号化レートと復号誤り確率の関係を議論する.ブロック長が無限大の極限で誤り確率が0に収束するような符号化・復号化が存在する符号化レートの領域はSlepian-Wolf領域とよばれており,定常無記憶情報源をはじめ,定常エルゴード情報源,一般情報源などのさまざまな情報源のクラスについて研究されており,領域も決定されている.一方,ある符号化レートのもとで誤り確率が0に近づく指数関数的な速さを表わす信頼性関数については,一部のレート領域に関しては決定されているものの,定常無記憶情報源においても未解決である重要な問題である.また既存の研究においては,相関を有する情報源が定常無記憶情報源であると仮定して,信頼性関数を議論したものが主であった.

 本論文は,「多元情報源符号化における信頼性関数の解析」と題し,6章より成る。

 第1章「序論」では,固定長情報源符号化の導入として,多元ではない単一の情報源の符号化について説明し,符号化レート,復号誤り確率,信頼性関数などに関する基本的な性質を整理している.

 第2章「多元情報源符号化と信頼性関数」では,議論を進めるにあたって必要な,多元情報源符号化についての定義や概念を導入している. ここでは,相関を持つ一般情報源やそれに関するいくつかの情報量,信頼性関数などについての定義を厳密に行っている.同時に,本論文で主に扱うSlepian-Wolfシステムや補助情報がある場合の情報源符号化のモデルを導入し,その許容領域などについて述べている.また,多元情報源符号化に関連する既存の研究についてレビューしている.

 第3章「一般情報源に関する信頼性関数」では,Slepian-Wolfシステムに関する信頼性関数の下界の議論を,定常無記憶だけでなく,最も広い情報源クラスである一般情報源に関して行っている.まず,ランダム符号化限界の導出を行い,次に,この下界を改善できることを,補助情報がある場合の情報源符号化について示している.下界の改善に関しては,グラフ分解に関する既存の補題を拡張し,これを利用することによって,復号誤り確率の上界を導出し,信頼性関数の下界を定めている.同じ符号語に符号化される情報源の出力系列を2つ考えるときに,互いに誤って復号されてしまう確率は,補助情報を含めた確率分布のある種の「近さ」と深い関係がある.システム全体の復号誤りは,これらの確率の総和として評価することができる.本論文では,拡張された補題を用いて,これら誤り確率に寄与する系列の組を均等に符号語に割り当てることによって,全体としてより小さな誤り確率を達成するような符号化が存在することを示している.

 第4章「定常無記憶情報源に関する信頼性関数」では,第3章での結果を定常無記憶情報源に適用して,既知の結果と比較し,さらに,補助情報がある場合の情報源符号化についての数値的な評価を行っている.符号化レートとランダム符号化限界による下界との関係は,高レート領域において傾き1の直線になり,多くの場合,単一情報源とみなして符号化および復号を行なった場合よりも悪い指数を与える.2値の情報源に関して,情報源の相関の度合が高い場合,低い場合,その中間の場合について,ランダム符号化限界,新たに導出した下界,単一情報源の信頼関数を数値的に比較している.相関の度合により,新しい下界の改善度合は異なるが,ランダム符号化限界を改善していることが示されている.

 第5章「信頼性関数とレニーエントロピーとの双対性」では,条件付きレニーエントロピーを定義し,その性質と信頼性関数や他の情報量との関係などについて議論している.定常無記憶情報源に関する単一情報源符号化においては,レニーエントロピーと信頼性関数との間に双対関係があることが知られている.これは,レニーエントロピーが信頼性関数のβ-カットオフレートと呼ばれるものに相当することを意味する.本論文では,相関を有する定常無記憶情報源に関する信頼性関数の上界と下界を表わす指数と,条件付きレニーエントロピーとの間にも双対関係があることを示している.一般情報源に関しては,1文字あたりの条件付きレニーエントロピーの極限が,ランダム符号化限界の指数のβ-カットオフレートになっていることを示している.また,情報源を特徴づけるエントロピースペクトル上限や下限などとレニーエントロピーの極限との関係を明らかにしている.エントロピースペクトル上限は,漸近的に復号誤り確率が0になる符号化レートの限界に対応していることが知られているが,ここでは,レニーエントロピーの極限と誤り確率が指数関数的に減少するレートの限界との関係を指摘している.

 第6章「結論」では以上の結果に対する,まとめと議論を行っている.

 以上を要するに,本論文は多元情報源符号化の信頼性関数を一般情報源について解析し,グラフ分解の手法を用いて信頼性関数の新しい下界を導出するとともに,条件付きレニーエントロピーを定義し,その性質と信頼性関数との関係を明らかにしたものである.これは数理情報学上貢献するところが大きい.

 よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.

UTokyo Repositoryリンク