知能を定義付けるものとして、学習能力が挙げられる。ゆえに、機械学習は人工知能研究における最大の関心事の1つである。一般に、学習とは、与えられた事例や教師の指示などに基づいて、自らの内部状態を自動的に変化させ、その性能(正答率や処理効率など)を改善できることと定義される。工学的な学習の有用性について言えば、学習機能のあるシステムでは、十分に学習を行うことにより、未知の環境や新たな事例に対処することも可能となるが、一方、学習機能のないシステムでは、設計者が意図しない状況において一般に極めて脆くなることが避けられない。近年の計算機処理能力の向上により、大量データから複雑な知識を学習可能な状況にあり、特に、本論文で対象とする事例に基づく教師あり概念学習アルゴリズムは広く研究されている。概念学習とは、与えられた事例を適切に認識するための認識器を形成することであるが、いわゆるパタン認識との相違点を強調して定義すれば、学習という手段を用いて認識器を形成し、認識器の記述を概念として同定することである。概念学習は、論理結合を陽に用いて述語の組合せとして概念を表現する記号ベース概念学習と、数値パラメータで定義される関数を用いて概念を表現する数値ベース概念学習に分類できる。両者を探索アルゴリズムの観点で比較すれば、前者が離散空間の組合わせ探索を行うのに対して、後者では、勾配ベクトルなどを利用して連続空間の探索を行う。

　今後の展望も含めて、既存の概念学習アルゴリズムの課題を考察すれば以下となる。第1に、幅広い現実問題への適用を可能にすることである。すなわち、ノイズを含む不完全な情報の事例しか得られないケースや、大量の背景知識などを含む大規模な問題でも適用可能にすることである。また、概念記述の表現能力を向上させること、および、学習に重要な影響を及ぼすにも拘らず、問題に依存して、ユーザが試行錯誤で設定していた学習パラメータなどをできる限り自動設定可能にすることも重要である。第2に、複数モデルの出力の統合法や多様な学習戦略の選択法を学習するメタレベル学習機構を構築することである。具体的には、理論と実験の両面から、既存モデルやアルゴリズムの長所と短所を明確にすることを始めとし、それを踏まえて、記号ベースや数値ベースに基づく複数モデルの出力や学習結果を適切に統合する学習機構や、予め与えられたヒューリスティック評価関数だけを用いるのではなく、多様な学習戦略を問題に応じて適切に使い分けるための学習機構を構築することである。さらなる目標としては、現実環境との多様なインタラクションを可能にし、現実環境での学習を可能にすることである。インタラクションには、音声や画像などのマルチメディア情報を直接認識できることや、学習の重要なポイントをユーザが直接教示できることなどが挙げられる。

　これらの状況を踏まえれば、まず、大規模でノイズや不完全情報のある現実問題においても高い汎化能力を有する効率の良い学習アルゴリズムを構築することが基本課題として挙げられる。これに対して本論文では、従来法よりもアルゴリズムを精緻にし、概念学習における探索性能を向上させることで解決を試みる。また、複数モデルの出力の統合法や多様な学習戦略の選択法を適切に学習するメタレベル学習機構を構築することも課題となる。一方、記号ベースと数値ベースの概念学習は、それぞれ互いを補完する形で、今後の概念学習アルゴリズムの重要な要素技術になると考えられる。よって、本論文では、それぞれのパラダイムで、大規模な問題でも高品質な学習結果をもたらす基本学習アルゴリズム、ノイズを含む事例からでも汎化精度の高い学習結果を得るための評価尺度を導入した学習アルゴリズム、および、メタレベル学習機構の構築に向けた試みとして開発した学習アルゴリズムについて述べる。

　本論文は、序論と結論を含めて全体を8章で構成している。第1章の序論に続いて、まず、第2章から第4章では、記号ベース概念学習(ルール抽出)法について述べる。次に、第5章から第7章では、数値ベース概念学習法として、ニューラルネットを用いた学習アルゴリズムについて述べる。

　第1章の序論では、本研究の歴史的背景および目的について概説するとともに従来の諸研究との関連について述べる。

　第2章では、少ない事例からでも、簡潔で十分に汎化した分類ルールを抽出可能とするRF2を提案する。RF2はルール候補の生成と精錬の2フェーズからなり、正の事例の記述を逐次一般化することによりルール候補を生成し、IDA^*と呼ばれる探索手法を用いてそれらを最適なルールの集合に精練する。人工問題への適用では、最新のルール抽出法でも抽出できなかったルールを、RF2は少ない事例からでも抽出できたことを示す。また、医療診断問題への適用では、未知の事例に対する正答率が医者の知識を用いて作成したエキスパートシステムのものと匹敵したことを示す。

　第3章では、ノイズを含む事例からでも、高い信頼性で良い正答率を保証する分類ルールを抽出可能とするRF3を提案する。RF3の特長は、ルール集合選択のための新評価尺度MEFの導入にある。MEF尺度は、任意の汎化誤り率の許容限界に対し、抽出したルール集合の汎化誤り率が許容限界より悪くなり、抽出失敗となる確率の期待値の最小化を意図するものである。また、MEF尺度は、抽出したルール集合の複雑さと例外事例の個数の和を最小化する尺度としても解釈可能であることを示す。実験の範囲では、RF3のルール抽出において、訓練誤り率の許容限界を順次変化させ、MEF尺度と別途推定した汎化誤り率を比較したところ、両曲線が極めて類似したことを示す。

　第4章では、集約関数を含む1階述語論理で記述される概念を対象に、適応学習するRF4を提案する。RF4は、望ましくない概念を枝刈りする学習バイアス、および、存在限量子や集約関数を用いた概念を生成する複合化ルールを用いて、事例の識別概念を深さ優先で探索する。また、論理式の探索順序は、過去に解いた問題を基に、それが識別概念の構成要素となる確率を推定することにより、動的に決定される。KRKチェス終盤戦問題では、ランダムに選んだ事例群の学習を数回繰り返せば、RF4の探索効率が改善されただけでなく、未知の事例に対する正答率も向上したことを示す。図形の多彩な識別概念を求めるボンガルド問題では、問題を解くにつれて、推定確率の信頼性が高くなるので、ボンガルド問題を解くための平均時間が次第に短縮されたことを示す。適応学習の基本となるタスク順序付け問題では、ベイズ推定を用いる方法が、最尤推定してタスク列を求める方法と比較して、最小コストに速く近付くことを示す。

　第5章では、3層ネットワークにおける2次の高速学習アルゴリズムBPQを提案する。BPQは準ニュートン法をベースとし、探索方向を小記憶BFGS法で計算し、最適探索幅を2次近似の最小点として効率良く計算することを特徴とする。また、BPQの1反復の計算時間については、一般的な状況で、標準的なBPとほぼ等しいことを示す。人工問題、パリティ問題、および音声合成問題を用いた実験では、他の代表的な学習アルゴリズムと比較して、BPQは効率良く誤差を減少できたことを示す。さらに、この探索幅計算法は準ニュートン法の収束性に重要な役割果たし、一方、小記憶BFGS法は収束性を変えずに記憶容量を大幅に減少できたことを示す。

　第6章では、数値データに内在する未知の法則を発見するアルゴリズムとして、ニューラルネットを用いた法則発見法RF5を提案する。RF5では、法則の発見問題がニューラルネットの学習問題として定式化され、第5章で提案したBPQアルゴリズムを利用して複数の法則候補を作り出し、その中からMDL基準を利用して最良のものを法則として特定する。実験では、ある程度のノイズを含むデータからでも、RF5は指数の値が整数に制限されない法則を効率良く発見できることを示す。

　第7章では、複数ニューラルネットの出力の組合せを自己組織的に学習する専門家の階層混合モデルHMEの構成的学習アルゴリズムを提案する。このアルゴリズムの特徴は、鞍点に捕らわれることを防ぐための結合重み初期化法、第5章で提案したBPQアルゴリズムを利用したネットワーク学習法、および、divide-and-conquerアプローチに基づくネットワーク拡張法を有することである。パリティ問題と関数近似問題を用いた実験では、従来法では困難であるが、提案法を用いれば、最小規模のHMEでも望ましい結果が得られることを示す。

　第8章は結論であり、本研究で得られた成果をまとめ、提案したアルゴリズムの長所と短所を明確にするとともに、今後の課題について述べる。

　学習能力は知能機能の重要な要素であり、機械学習はシステムが与えられた事例や経験から内部構成を自動的に変化させ、性能(認識正答率や処理効率など)を改善していくメカニズムを提供する。機械学習の中で概念学習は、与えられた事例を基にして問題対象を認識、分類することを可能にする認識器の記述を概念として形成することを目的とする。

　本論文は「概念学習における探索性能向上に関する研究」と題し、記号ベース及び数値ベースの概念学習において、既存手法の精緻化を図り、各種状況に対して学習の探索性能の向上を可能にする複数の新手法についての一連の研究をまとめたものであり、8章から成る。

　第1章は「序論」であり、これまでの概念学習の研究について概観し、本論文の構成について記している。

　第2章「事例からのルール抽出法:RF2」では、少ない事例からでも簡潔で十分に汎化した分類ルールを抽出可能とするRF2(Rule extraction from Facts version2)の概念学習手法を提案している。RF2はルール候補の生成と精練の2フェーズから成り、正事例の記述の逐次一般化によるルール候補の生成を行い、Interactive Deepening A^*の探索手法を用いて最適ルール集合に精練する。既存学習法では抽出できなかったルールをRF2は少数事例からでも抽出できたことを示し、また、医療診断問題に適用して医師の知識を用いて作成したエキスパートシステムの分類ルールに匹敵する正答率が得られたことを示している。

　第3章「ノイズを含む事例からのルール抽出法:RF3」では、ノイズを含む事例からでも高い信頼性で良い正答率を保証する分類ルールを抽出可能とするRF3の概念学習手法を提案している。RF3の特長はルール集合選択のための新評価尺度の導入にあり、これを用いルール集合が汎化誤り率の許容限界より悪くなる確率の期待値を最小化することを可能にしている。

　第4章「適応概念学習法:RF4」では、集約関数を含む1階述語論理で記述される概念を対象にして適応学習を行うRF4の手法を提案している。これは望ましくない概念を枝刈りする学習バイアスと、存在限量子や集約関数を用いて概念を生成する複合化ルールを使用し、事例の識別概念を深さ優先で探索する。論理式の探索順序は過去に解いた問題を基に、それが識別概念の構成要素となる確率を推定し、動的に決定する。チェス終盤問題やボンガルド問題を対象として、探索効率が向上することを示している。

　第5章「ニューラルネットの高速学習法:BPQ」では、3層ニューラルネットワークにおける2次の高速学習アルゴリズムBPQ(Back Propagation based on Quasi-Newton)を提案している。これは準ニュートン法をベースとして探索方向を計算し、最適探索幅を2次近似の最小点として効率良く計算することを特徴とする。パリティ問題や音声合成問題を対象にした実験により、効率良く誤差成分の減少を図れることを示している。

　第6章「ニューラルネットワークを用いた法則発見法:RF5」では、数値データに内在する未知の法則を発見するニューラルネットを用いたRF5の手法を提案している。これは、多項式型で表わされる法則の発見をニューラルネットワークの学習問題として定式化し、第5章のBPQアルゴリズムを利用して複数の法則候補を生成し、その中からMinimum Description Length 基準を用いて最良のものを法則として特定する。実験によりノイズを含むデータからでも多項式型法則を効率良く発見できることを示している。

　第7章「HMEの構成的学習法」では、複数ニューラルネットの出力の組合せを自己組織的に学習するモジュールの階層混合モデルHME(Hierarchical Mixtures of Experts)の構成的学習法を提案している。これは鞍点に捕われることを防ぐための結合重み初期化法、第5章のBPQアルゴリズムを利用したネットワーク学習法、及びdivide-and-conquerアプローチに基づくネットワーク拡張法を含んでいる。パリティ問題と関数近似問題による実験で、従来法では困難であるが、本手法を用いれば最小規模のHMEでも望ましい結果が得られることを示している。

　第8章は「結論」であり、研究成果をまとめている。

　以上を要するに、本論文は記号ベース及び数値ベースの概念学習において、既存手法のアルゴリズムの精緻化を図る観点から学習探索性能向上を可能にする複数の新手法を考案している。特に、大規模問題でも効率的に高品質な学習結果をもたらす学習手法、ノイズを含む事例からでも汎化精度の高い学習結果を得ることが可能な学習手法等を考案、開発し、実験を通じてその効果を示したものであり、電子情報工学上貢献するところが少なくない。

　よって、本論文は博士(工学)の学位請求論文として合格と認められる。