社会の情報化に伴い,膨大かつ複雑なデータから有用な情報を抽出するための知的な情報処理手法が求められている.そのような状況の中で注目されているのがグラフィカルモデルと呼ばれる統計モデルであり,統計学や統計物理学,あるいは脳科学や人工知能といった分野を中心とした学際領域で盛んに研究されている.本論文で扱う(有限)混合分布モデルは最も単純なグラフィカルモデルの一種である.その形の単純さに反し,より複雑なグラフィカルモデルの基本的な性質を受け継いでおり,理論的な解析などにおいて重要なモデルと位置付けられている.混合分布は,複数の確率分布の重ね合わせで定義される確率モデルで,複雑な分布を単純な分布の和に分解して記述するという分割統治的な性質を持つ.本論文では混合分布モデルの学習(特に最尤推定)に関して,汎化と学習アルゴリズムという理論的な側面に関する解析と,パターン的な情報に埋もれたシンボル情報を復元するという混合分布モデルの応用的な側面についての検討を行った.

　まず最初に,あるクラスの混合分布の持つ汎化能力が従来考えられてきたのとは異なる振舞いを示すことを明らかにした.汎化能力とは,モデルが有限個の訓練サンプルにフィットするだけでなく,背後にある真の分布をどれだけ表現できるかという能力である.統計モデルの汎化能力の評価は,例題からの学習に起因する基本的な問題であり,統計学や情報理論などの枠組みからさまざまな研究がなされてきた.特に最近ではニューラルネットモデルや混合分布など特異性を持つモデルに関する汎化能力の研究に注目が集まっている.一般に,統計モデルの構造を複雑にすればするほど訓練データに対する当てはまり具合はよくなる.しかし逆に,過度に適合した統計モデルでは汎化能力は低くなってしまう.したがって,訓練サンプルに適合するだけではなく,できるだけ「単純な」モデルを選ぶことによって,汎化能力を高く保つ必要があると考えられている.ところが,本論文では,Radial Basis Boltzmann Machine(RBBM)と呼ばれる特殊な形の正規混合分布では,これに反する現象が観察されることがわかった.RBBMでは,要素分布である正規分布の分散がモデルの複雑度を制御するコントロールパラメータになっており,それを変化させることにより分岐現象を起こし,モデルパラメータの見かけの個数を調節することができる.本論文ではまず,分岐の振舞いを解析し,適当な仮定のもとで4次のキュムラントに依存して分岐の様相が特徴づけられることを示した.次にその結果に基づいて,真の尤度と経験尤度とのバイアスを表す竹内の情報量規準(TIC)を用いて,RBBMの汎化能力を評価した.すると,分岐する前では直観的に予測されるようにモデルの複雑度が増えるにつれてバイアスも増加するという性質が導かれたが,分岐した直後では分岐によって見かけのパラメータ数が増加するにも関わらず-∞の傾きでバイアスが減少する場合が存在することが解析的に示された.すなわち,この場合には分岐した後のより「複雑な」モデルの方が分岐する前の単純なモデルよりも汎化能力が高いことを意味している.本論文では,こうして得られた結果を計算機実験によって確認した.

　次に,混合分布の学習アルゴリズムとして知られるEM(Expectation-Maximization)アルゴリズムを,複雑な推定問題を単純にする手法であるととらえ,確率分布のパラメータ推定問題に応用した.EMアルゴリズムは,一般に欠測データがある場合などに最尤推定の局所最適解を得るための安定なアルゴリズムとして知られているが,最近になって,曲がった空間での最適化問題をより平坦な空間の最適化問題の繰り返し計算に還元させているという,幾何学的な意味も明らかにされてきた.実際,混合分布のEMアルゴリズムは,構成する個々の要素分布の推定問題というより簡単な問題に帰着される.ただし,その要素分布が正規分布のような単純な分布では推定が簡単にできるが,そうでない場合はやはり難しい問題が残る.これを解決するためのアプローチとして,要素分布を再び混合分布でモデル化するという再帰的な手段を用いたのがJordanらの階層的エキスパート混合モデルである.しかしながら,このアプローチでは一般にパラメータ数が多くなるため汎化の点で不利であるという点と,既に要素分布として基本となる分布形が与えられている場合には用いることができない点で問題がある.そこで本論文では,既に要素分布の形が与えられていた場合にEMアルゴリズムを応用した学習アルゴリズムが適用できないかと考え,任意に与えられた分布が位置・尺度等のパラメータを持つとき,その推定にEMアルゴリズムを適用する問題を調べた.その結果,任意の次元で位置・尺度パラメータを持つ場合と,2次元で位置・尺度・回転パラメータを持つ場合という二つの場合について,閉じた形のアルゴリズムが得られた.まず,与えられた分布を必要な精度で,ある決められたクラスの正規混合分布で近似しておく.その上でEMアルゴリズムを適用するのだが,単純な正規混合分布のパラメータ推定と異なり,推定すべきパラメータが正規混合分布のすべての要素分布に含まれており,そのままでは閉じた形のアルゴリズムが得られない.そこで,EMアルゴリズムの拡張であるECM(Expectation-Constrained Maximization)アルゴリズムを適用すると,計算可能な統計量を係数として持つ2次方程式の解としてパラメータの推定更新式が得られることがわかった.これは,単純な正規混合分布のEMアルゴリズムが1次方程式の解として得られる場合の拡張ととらえることもできる.本論文では,こうして得られたアルゴリズムを,人工データおよび実画像を用いたテンプレートマッチングに応用し,有効性を確認した.

　さて,本論文では最後に,混合分布を,パターン的な情報の中に隠れたシンボル的情報を扱うためのモデルととらえ,属性概念獲得課題を設定し,モデルの適用を試みた.実世界の情報が持っている大きな問題点の一つはその情報が不完全であるということである.特に,データを構造化するのに有用な記号的な情報は,生データに埋もれていて陽には得られない場合が多い.そのような状況下での学習の例題として,複数情報源からの属性概念獲得の問題を設定し,混合分布とEMアルゴリズムによる学習を実データに対して実験を行った.この問題では,音声と画像のペアのデータから,そこに隠された属性概念という構造を統計モデルを用いて学習する.具体的には,各画像に対しその属性(色,形,大きさ等)の一つをランダムに選んで発話した音声をペアとして与え(ただしどの属性であるかは与えない),そのような学習サンプルを数多く学習することにより属性概念を自立的に獲得するという課題である.この問題自体は発達心理学における概念形成のモデルと関連が深いが,工学的には近年盛んに研究されている電子秘書などのアプリケーションにおける環境情報の学習の基礎となる研究である.また,ここで設定した問題はモダリティ間の情報を統合することによってはじめて可能となるという点で従来の単純な概念獲得課題よりも難しく新規性があるものである.本論文では,まず各情報源毎に固有の特徴抽出を行い,情報源間に共通して含まれる低次元の情報を抽出するための手段として正準相関分析を行った.その上で,画像特徴から音声特徴への1対多写像を線形回帰モデルの混合分布でモデル化し,学習を行った.学習はEMアルゴリズムで行ったが,不適切な局所最適解への収束を避けるため,この課題に特有の1対多写像であるという性質を利用した初期解の取り方を工夫した.その結果,比較的基本的な手法の組合せであるにも関わらず,未知サンプルに対しても高い学習性能結果が得られた.

　本論文は,有限混合分布モデルと呼ばれる統計モデルの学習に関する能力を数理的に明らかにするとともにどのような問題に適用可能なのかを探求することを目的とするものであり,「有限混合分布モデルの学習に関する研究」と題し,本文7章から構成されている.

　第1章は「序論」であり,研究の意義,位置づけ,目的,および本論文の構成について述べている.

　第2章「有限混合分布とその基本的性質」では,有限混合分布の定式化を行い,グラフィカルモデルとの関連やモジュール性など,有限混合分布の有用な特徴について述べている.

　第3章「学習における汎化とEMアルゴリズム」では,統計モデルを有限個のサンプルから学習する際に問題となる汎化の問題と,有限混合分布モデルの学習アルゴリズムとして知られているEM(Expectation-Maximization)アルゴリズムについて従来の知見をまとめている.まず,学習を統計モデルの最尤推定とみなし,学習によって生じるバイアスについて述べ,有限混合分布が最尤推定において冗長性や特異性をもつことに触れ,有限混合分布について調べることの意義について述べている.次に,有限混合分布に対するEMアルゴリズムについて定式化を行い,更に幾何学的な意味づけについても述べている,

　第4章「正規混合分布の汎化バイアスの非単調性」では,Radial Basis Boltzmann Machine(RBBM)と呼ばれるあるクラスの正規混合分布モデルの汎化能力について調べている.まず,RBBMが温度と呼ばれるパラメータを変化させることによって階層的クラスタリングに対応する分岐現象を示し,モデルの複雑度が温度によって制御可能であることを述べている.次に,分布に関する対称性の仮定の下で,その分岐が4次のキュムラントによって分類できることを示している.さらに,その結果に基づいて,分岐点の前後での尤度のバイアスについて調べ,分岐点以下の温度では温度に比例してバイアスが増えるのに対し,分岐点を超えたところでは垂直の傾きでバイアスが減少することを示している.従来,モデルの複雑度が増えるにつれてバイアスは単調に増加するものと考えられているが,本論文で示している結果は,複雑なモデルの方が単純なモデルよりも高い汎化能力をもつ場合が存在するという,従来の考え方に反する例となっている.また,これらの結果を計算機実験によって確認している.

　第5章「確率分布の位置,尺度,回転パラメータの学習法」では,正規混合分布モデルのEMアルゴリズムを応用し,任意に与えられた分布の位置・尺度・回転パラメータに対する学習アルゴリズムを提案している.まず,与えられた分布を必要な精度で近似し,その上でEMアルゴリズムの拡張であるECM(Expectation-Constrained Maximization)アルゴリズムを適用することにより,任意の次元で位置・尺度パラメータを持つ場合と,2次元で位置・尺度・回転パラメータを持つ場合の2つの場合について,2次方程式の解として閉じた形の更新式が得られている.この結果は,単純な正規分布がEMアルゴリズムによって1次方程式の解として得られているものの拡張ととらえることもでき,EMアルゴリズムが一般に,難しい学習の問題を単純化できる可能性を持つことを示すものである,

　第6章「複数情報源からの概念獲得」では,有限混合分布をパターン的な情報の中に隠れた記号的情報を扱うためのモデルととらえ,属性概念獲得課題を設定し,モデルの適用を試みている.まず,そのような課題の単純だが典型的な例題として,複数情報源からの属性概念獲得の問題を設定している.この問題は,発達心理学における概念形成の研究や,マルチモーダルなユーザインタフェースにおける環境適応の研究などに対して有用な問題である.次に,この問題を解くための段階として,情報源固有の特徴抽出,情報源間の共通特徴の抽出を行った上で,最終的には有限混合分布によって属性情報を獲得するという枠組を設定している.この際,EMアルゴリズムが不適切な局所最適解に収束しないよう,問題に依存した初期値の設定法にも工夫を加えている.さらに,これらの枠組を実際の画像と音声の組に対して適用実験を行い,比較的基本的な手法の組合せであるにも関わらず,未知サンプルに対しても高い学習性能結果が得られている.

　第7章「結論」では,本研究の成果についてまとめを行い,今後の課題,展望を述べている.

　以上を要するに,本論文は,理論的にも応用上も重要な統計モデルである有限混合分布とその学習について調べ,その汎化能力については従来考えられたのとは異なる振舞いを示すことを理論的に明らかにし,学習アルゴリズムについては従来の単純な正規混合分布の学習法を拡張した形のアルゴリズムを導出し,更に有限混合分布によるモデル化によって新たな学習モデルの枠組を提示している.これらの成果は,統計学や人工知能をはじめとする学習に関わる研究において有用な知見や手段を提供するものである.よって本論文は,博士(工学)の学位論文として合格と認める.