既存のデータをもとに将来のデータの値を予測する方法は、日常で広く必要とされる技術である。このような予測問題に対して、統計学や学習理論など、さまざまな分野で研究が行われてきた。予測問題は基本的で重要な問題であり、長年の研究があるが、使える計算リソースや扱う問題の大きさ、データ量といった要因は、時代と共に変化し、それらに対応した手法が提案、研究されている。

　最近の学習理論の世界では、アンサンブル学習とよばれる手法が研究されている。アンサンブル学習は、何度も学習を行い、その結果得られた多数の学習機械をうまく組み合わせて予測を行うものである。アンサンブルをとることで1つの学習機械のみで予測するよりも良い予測が実現される場合がある。特に、ブートストラップデータを用いて何度も学習を行い、それらの単純平均で予測するbaggingや学習がうまくいかなかった例題について重みをつけて次の学習を行うboostingという手法が有名である。

　一方、統計学においては、統計的予測問題の文脈で、ブートストラップデータを用いて予測する手法やBayes法を用いた予測法が研究されている。統計学で提案されていたブートストラップを用いた予測は、学習理論のアンサンブル学習の立場からは、統計的予測問題にbaggingを適用したものと考えることができる。Bayes予測は、事後分布からパラメータをリサンプリングして平均をとったものと考えることができるので、これもアンサンブル学習の1つとみなせる。

　本論文では、このように2つの異なる分野で研究されていた手法を統一的な観点でとらえ、Bayes的な立場から統計的予測問題におけるアンサンブル学習について調べる。情報幾何学の枠組みを用いることで見通しよく議論を進めることができるようになる。

　まず、ブートストラップを用いた予測は、ある条件のもとで、Bayes予測の近似となっていることを示す。幾何学的には、ブートストラップを用いた予測分布は、最尤推定量を用いた予測分布にモデルに直交する項が加えられたものと解釈できる。予測性能に関しては、通常の最尤推定量を用いた予測よりもアンサンブルをとった予測の方が漸近的に良い予測を与えることを示す。また、パラメトリック・ブートストラップを用いた予測とノンパラメトリック・ブートストラップを用いた予測が、漸近的に同一の予測性能をもっていることを明らかにする。パラメトリック・ブートストラップでは乱数の発生が困難な場合があるが、ノンパラメトリック・ブートストラップは、容易に実現できるので、このような場合は後者が有効である。

　本論文で議論したアンサンブル学習は、繰り返しの学習を必要とするため、大きな計算リソースを要求する。計算機の発達した現代では、このような複雑な計算をしても良い予測を得る手法が現実的に必要とされる状況がある。アンサンブル学習に対する統計的な観点での理論研究は、十分に行われているとはいえず、本論文はその基礎を与えるものである。

　統計的なモデルを利用して不確実性をともなう現象を予測する際、確率分布や信頼区間を利用した予測が、単純な点予測より実用上より有効であることが知られており、種々の研究が進められてきた。特に、最尤推定量などの性質の良い推定量を未知パラメータと置き換えて得られる予測分布より、ベイズの方法を利用して構成される予測分布の性能が良いことが知られている。一方、学習理論では1つの学習機械を利用して得られる予測結果よりも、何らかの方法で構成した複数の学習機械の予測結果の重みつき平均をとることにより得られる予測の方がより性能が良いことが多くの例で確認されている。このような手法はアンサンブル学習と総称され注目を集めている。アンサンブル学習のいくつかの手法は、統計学でブートストラップ法と呼ばれ広く利用されている方法を応用したものになっている。アンサンブル学習の方法とベイズ法とは近い関係にあると考えられることがいくっかの文献で示唆されており、多くの研究者の注目するところとなっていた。しかし、両者の関係に関する現在までになされた議論の多くは直観的な説明にとどまっており、理論的な結果はほとんど得られていなかった。本論文は、パラメトリックな統計モデルを利用した予測問題を取り上げ、ベイズ法とアンサンブル学習について統一的な視点でとらえ、統計的漸近理論を用いて理論的に解析するものであり、「アンサンブル学習とベイズ法の予測性能の解析」と題し全6章からなる。

　第1章では、アンサンブル学習の理論と統計学における予測理論について概観するとともに、本論文で考察する問題の位置づけを与えている。

　第2章では、データと将来の観測値が同じ確率分布にしたがうという最も典型的な状況をとりあげ、パラメトリックブートストラップ法を用いて構成される予測分布の漸近展開を求め、そのリスクの漸近的な評価を与えている。この結果は、パラメトリックブートストラップ法を用いて構成される予測分布が、未知パラメータを最尤推定量でおきかえて得られる予測分布を漸近的に優越することを示すものであり、Harrisが1989年に1次元指数型分布族の場合に示した結果を一般のモデルに対して拡張したものになっている。また、予測分布の漸近展開に現れる項を情報幾何に基づく直交分解を利用することにより、パラメトリックブートストラップ法を用いて構成される予測分布がある意味で漸近的に最良のものであることを示している。さらに、パラメトリックブートストラップ法により得られる予測分布がベイズ予測分布と漸近的に一致するための条件を求めている。最後に、これらの漸近理論による結果が有限サンプルの場合の数値実験による結果とよく合致していることを確認している。

　第3章では、データと将来の観測値が同じ確率分布にしたがう状況のもとで、ノンパラメトリックブートストラップ法を用いて構成される予測分布の性質を調べている、ノンパラメトリックブートストラップ法による予測分布は、アンサンブル学習の分野で"bagging"と呼ばれている手法を利用して得られる予測分布そのものである。まず、予測分布とそのリスクの漸近展開を与え、ノンパラメトリックブートストラップ法とパラメトリックブートストラップ法を用いて構成された予測分布それぞれのリスクが2次の漸近理論で一致することを示している。ノンパラメトリックブートストラップ法はパラメトリックブートストラップ法に比べ簡便に実行できることが多いので、この結果の実用上の意味は大きい。漸近理論の結果が有限サンプルの場合によく当てはまっていること、および有限サンプルではパラメトリックブートストラップ法による予測がノンパラメトリックブートストラップ法による予測よりわずかに性能が良いことが多いこと、が数値実験により確認されている。

　第4章では、尤度の極大値が複数個生じる状況での予測について考察している。複雑な統計モデルを用いると値の近い尤度の極大値が複数個生じることがあり、モデルを固定してデータのサンプルサイズを大きくする設定のもとでの漸近理論とは異なる取り扱いが必要になる。本章では、尤度の極大値が2つ存在する状況の近似として、2つの確率分布のみからなるモデルを考え、2つの極大値に対応する予測分布にそれぞれ重みをつけて平均をとることにより得られる予測分布の性能が良いことを漸近理論を用いて示し、この予測分布がベイズ法により得られる予測分布と一致することを明らかにしている。また、ある例題に対して尤度の極大値が多数生じる場合について理論的な解析を行っている。

　第5章では、データと将来の観測値とが異なる分布にしたがう状況のもとで、未知パラメータを推定量で置き換えて得られる予測分布、ベイズ法による予測分布、パラメトリック、ノンパラメトリックなブートストラップ法による予測分布それぞれについてリスクを漸近論により評価し、ベイズ法とブートストラップ法による予測の性能が優れていることを示している。この結果は、回帰などの応用上重要な多くの問題に適用することができる。

　第6章では、本論文での成果をまとめるとともに、今後の研究の課題と展望を与えている。

　以上のように本論文は、多くの研究者の注目を集めている。ベイズ理論とアンサンブル学習の手法との関係を、いくつかのクラスの統計モデルの予測問題について理論的に明らかにしたものであり、数理工学上貢献するところが大きい。

　よって本論文は、博士(工学)の学位請求論文として合格と認められる。