Machine learning is a process for improving the performance and behaviors of a machine through the use of empirical data. The aim of machine learning is to extract hidden properties in data and make predictions yet to be observed. We humans decide our behaviors based on knowledge learned or abstracted from past experiences and information. However, a large amount of information or data makes it difficult for us to extract useful information and develop accurate solutions to problems. Therefore, it is important to develop systems that automatically learn underlying mechanisms in observed data. Machine learning is related to many fields: probability theory and statistics, data mining, information theory, computational neuroscience, theoretical computer science, and statistical physics. We propose a novel machine learning framework based on quantum mechanics. Basically, machine learning is formulated as an optimization problem. Simulated Annealing (SA) is a well-known physics-based approach for solving optimization problems in machine learning. SA is used to solve problems by using a concept of statistical mechanics, temperature. In physics, quantum annealing (QA) has attracted much attention as an alternative annealing method of optimization problems through quantum fluctuations. QA is the quantum-mechanical version of SA. We developed two QA variant learning algorithms of the variational Bayes inference and the Gibbs sampler, which are common learning algorithms. The proposed learning algorithms can be applicable to problems to which these conventional algorithms are adaptable. We empirically demonstrate that our QA-based learning algorithms works better than SA-based learning algorithms in the unigram mixture model, latent Dirichlet allocation , hidden Markov model and the Dirichlet process mixture models for clustering documents, extracting topics of documents, predicting users' preference of music artists, and modeling web page visits of users.

統計的機械学習の分野において、近年ベイズ統計を基礎に置く学習法の研究が盛んである。クラスタリング、生成モデルに基づくトピックモデルなどのような教師なし学習においては、事前知識を活用できるベイズ統計の利用がとりわけ重要である。本論文は、まずベイズ統計に基づく教師なし学習における既存手法のいくつかの改善手法を示した。これらの経験に基づき、統計的機械学習における問題点である局所解に陥る可能性を少なくする新規手法として量子アニーリングを提案し、実験的に評価して、その有効性を立証した。量子アニーリングは並列に動作する学習過程において個々の学習プロセス間で中間結果の解を受け渡しして局所解から脱出するものであり、並列機械学習への有力な手法としても価値がある。なお、本論文における評価は文書集合におけるトピック推定というタスクを利用している。

本論文は「Quantum Annealing in Statistical Machine Learning」(統計的機械学習における量子アニーリング)と題し、6章からなる。

第1章「Introduction」(序論)では、統計的機械学習における問題点を指摘し、これを解決する手法として本論文で提案する量子アニーリングの概要を説明している。

第2章「Learning Algorithms」(学習アルゴリズム)では、ベイズ統計による学習アルゴリズムを概観し、サンプリング法、シミュレーテッド・アニーリング、変分ベイズ法を主に紹介している。

第3章「Probabilistic Latent Variable Models」(隠れ変数を含む確率モデル)では、まず3.1節でトピックモデルとその主要モデルであるLatent Dirichlet Allocationについて説明し、次にこれをオンライン学習化したアルゴリズムを提案している。3.2節では、ディリクレ混合モデルを説明し、3.3節ではPitman-Yorモデルを利用して改良したトピックモデルを提案し、ギブスサンプリング法で評価している。

第4章「Quantum Annealing Variational Bayes Inference」(量子アニーリング変分ベイズ推論)では、まず数学的準備として密度行列を導入する。密度行列の非対角項は並列な学習過程の間での解の受け渡しを表現する。非対角項を持つ行列のべき乗を効率良く計算する近似手法として鈴木トロッター展開を導入し、量子アニーリングにおける変分ベイズ法を定式化し実験的に評価した。

第5章「Quantum Annealing Gibbs Sampler for Dirichlet Process Mixture」(ディリクレ混合モデルのための量子アニーリングギブスサンプリング)では、トピックモデルにおける学習で用いられるChinese Restaurant過程を量子アニーリングによる学習が扱えるように拡張した。ここでは、学習における状態を通常のベクトルではなく、量子的確率からなるベクトルとして表現することにより上記の拡張が可能となった。最適化なアニーリングのスケジュールを定め、実験評価をした。

第6章「Conclusion」(結論)は本論文のまとめである。

以上を要するに、本論文は、統計的機械学習における問題点の整理と既存の学習法の改良手法の提案、および新規な手法として探索空間を広くとることで局所解に陥りにくい量子アニーリング法を提案し、文書集合におけるトピック推定において既存手法を上回る性能を立証した。

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる。