与えられたデータから,そのデータの持つ法則性を見出すことが,データ処理の大きな目的の一つである.法則という言葉は,拘束関係(ある条件をみたすデータしか現れない)と言い直すこともできる.したがって,考えるべき問題は次のようになる:「高次元空間R^N内に,データ点xが多数与えられた時,これらの点がのっている低次元曲面Sを推定せよ.」その際,現実のデータにはノイズが含まれていることが多く,データ点xは曲面Sのまわりにばらつくことになる.このようなノイズののった高次元データを,低次元曲面でフィッティングすることが本研究の課題である.この問題を,以下,データフィッティング問題と呼ぶ.

　この曲面Sが推定できれば,種々の有用な処理が可能になる.例えば,データにノイズが入ってxがSからずれたところに生じた場合,xをSへ射影した点yをとれば,生のデータxよりも真の値に近くなっており,「ノイズの除去」ができる.また,曲面Sから大幅にはずれた所にデータxが観測されたら,プラントが故障した可能性がある,といった「異常検出」も可能となる.さらに,S上にしかデータが生じないのであれば、高次元のデータx自体を記録しなくても,曲面Sの形状とS上の位置を指定するだけの情報があれば十分であり,「情報圧縮」が行える.データxが厳密にはS上にのっていなくても,もとのデータxを近似的に再現する非可逆圧縮として利用できる.この際,S上の位置の指定には,少数個の実数の組を用いることになる.その値は,元のデータxを記述する良い特徴量であると期待され,データからの「特徴抽出」にもなっている.特に,Sとして2次元または3次元の曲面をとれば,高次元のデータxが2個または3個の実数の組で表現され,「visualization」が可能となる.

　線形の場合,すなわち,Sが(超)平面の場合には,主成分分析などの統計手法がSを求めるために使われる.これを拡張した統計手法で,Sが曲面の場合を扱うものとしては、principal curves(surfaces)と呼ばれるものが提唱されている.これらの手法も含めて一般に統計においては,通常,全データが一括して与えられることが想定される.これに対し,ニューラルネットの分野では,データが一個ずつ与えられる状況での,逐次学習が主に扱われる.同じ数のデータが与えられた時の推定誤差を比較すると,一般には逐次学習の方が劣っている.しかし,逐次学習には,過去の例題を保存しておくためのメモリーを要しない,新しい例題に対する学習のコストが小さい,データの性質が時間的に変動する場合にも追従することができる,といった利点がある.

　ニューラルネット(多層パーセプトロン)のバックプロパゲーション学習は,逐次学習の一種である,この手法は,ノイズを含んだデータに対する非線形関数のあてはめを簡便に行うことができるため,近年多くの分野に応用されている.通常の統計手法と比べて,前もって関数形を限定する必要がなく,広いクラスの非線形関数を表現することができ,高次元データにも自然に適用可能なことも魅力である.しかし,今考えているデータフィッティング問題に対しては,通常のニューラルネットによる学習は,必ずしも適切とは言えない.通常のニューラルネットの学習は,入力(説明変数)と出力(被説明変数)を区別し,与えられた入力に対して出力を求めるという教師あり学習だからである.データフィッティング問題をあえて通常のニューラルネットで学習させようとするなら,データxの成分を説明変数と被説明変数に分けて、説明変数を入力とし,被説明変数をそれに対する模範出力として与える形をとらざるをえない.しかし,この種の学習では,入力にはノイズがのらず,模範出力にのみノイズがのっているということが想定されている.そのため,入力にもノイズがのる場合には,誤差の点で問題が生じてしまう.さらに,入力の一つの値には出力の値が一つだけ対応するという点も,曲面Sの形に制約をもうけることになってしまう.

　本研究では,データフィッティング問題に対して,砂時計型ネットの自己想起学習(恒等写像学習)を用いる.砂時計型ネットとは、多層(一般には5層以上)のニューラルネット(アナログパーセプトロン)において,ある中間層の素子数を入出力層の素子数より小さくしたものである.別の言い方をすると,砂時計型ネットSANDは,射影部PROJと入射部INJの二つの関数近似装置(3層ニューラルネットなど)を直列につないだものである.入力xと出力yの次元数は同じNで,中間出力＝PROJ(x)の次元数Kはそれより小さくしておく,そして,与えられたデータx(1),x(2),…に対して,出力y(1),y(2),…が入力自身と同じになるように,すなわち,

　が小さくなるように学習する.ネットの形状から,入力の全空間上で恒等写像を実現することは当然不可能であり.結局,N次元空間内のデータをK(<N)次元曲面でフィッティングすることになる.そのため,この学習においては,入力変数の間の(拘束)関係を取り出すことが要求され,適切な内部表現の獲得,異種情報の統合,情報圧縮,特徴抽出などが自動的に行われるとされる.

　本研究の第一の主題は,統計学において変数誤差モデルと呼ばれる推定問題に対して,砂時計型ネットを利用することである.最初に,変数誤差モデルの最尤推定と,砂時計型ネットの自己想起学習とが等価なことを指摘する.変数誤差モデルとは,模範出力だけでなく例題入力の方にもノイズがのっている場合の学習問題である.これは非標準的な推定問題であり,単純な最尤推定には理論的難点がある.まず、統計でよく知られている難点として,バイアスの問題がある.さらに,砂時計型ネットでは,自由度の高さに起因して,例題数が無限大でも消えない病的なオーバーフィッティングの懸念があることを指摘する.しかし,バイアスについては,通常のニューラルネットを変数誤差モデルに適用した場合に生じる誤差より小さいことが,シミュレーションによって示される.一方,バイアスを生じない統計的推定法と比べると,砂時計型ネットはアルゴリズムがはるかに簡単で,しかもフィッテイングできる曲面の自由度が大きいという利点がある.また,病的オーバーフィッティングについても,シグモイドニューロンやradial basis functionを用いたシミュレーションでは,実際には生じないことが示される.以上をふまえて,変数誤差モデル(入力にもノイズがのっている場合の学習問題)に対して砂時計型ネットを用いることを提案し,通常のニューラルネットと比較しての利点を示す.

　本研究の第二の主題は,砂時計型ネットの多重化である.砂時計型ネットには,平面(超平面)と同相な関係しか表現できないという限界がある.そのため,例えば²+²＝1のような閉曲線(閉曲面)状の関係を学習させようとすると,無理が生じる.Malthouseらはこの事実を指摘し,射影部(前半部)PROJ(・)が連続関数に限定されていることが原因だと述べている.しかし,本質的な原因は,平面(超平面)と同相でない多様体を一枚の座標系で記述しようとしている点であると考えられる.そこで,砂時計型ネットを多重化してMixture of Expertsの形にすることを提案し,シミュレーションによりその効果を示す.この多重化により,広いクラスの曲面を表現する能力が得られる.通常のニューラルネットのMixture of Expertsとは異なる形で性能が質的に向上するというのが,注目すべき点である.一般に,Mixture of Experts型のシステムには,一部のエキスパートが全く動かなくなる(担当領域がなくなる)形の初期収束という悩みがある.この初期収束をおさえるための工夫についても述べる.

　本研究の第三の主題は,多価関数の学習である.砂時計型ネットは多価関数を扱うことができるため,冗長性を持つロボットマニピュレータなどへの適用が期待される.これは,次のような手順で実現される.

　〔学習〕 関節角と,そのときの手先位置との組(,)を入力とし,多数の例題を与え,恒等写像を学習させる.

　〔想起〕 目標手先位置が提示されたら,を調節して,砂時計型ネットに(,)を入力した時の出力が(,)にできるだけ近くなるようにする.こうして決定されたを,に対する想起の結果とする.

　通常の多層ニューラルネットで→の対応を学習させるのと比べて,双方向の想起ができ,さらに多価関数を扱うことができるという特徴がある.しかし,第二の主題で述べた限界のために,砂時計型ネットで表現できる多価関数のクラスは限られている.これを打破するためには,前述の多重化がやはり必要になる.従来は,想起でを求めるために,入出力の差のノルムの自乗を評価関数として,これが小さくなるようを少しずつ調節していくという緩和計算が用いられていた.本研究では,「曲面への射影である」という砂時計型ネットの特性に着目し,単純な逐次代入でより効率良い想起が可能なこと,カオス的挙動が生じないこと,偽記憶が判別できることなどを示す.収束に要するステップ数も1ステップの計算量も従来の緩和計算より小さく,実時間では数倍の速さで想起が可能となった.

　本研究の第四の主題は,次元数の決定である.第一から第三の主題では,フィッティングする曲面Sの次元数が前もって与えられると想定されている.砂時計型ネットの中間出力の次元数Kは,この次元数にあわせなくてはならない.そのため,曲面Sの次元数が前もって与えられていない場合には,データ自身に基づいてそれを決定する必要がある.これは統計で言うモデル選択の問題であり,通常の「未知パラメータの推定」とは別の手法を要する.一般に広く用いられているのはAICやMDLのような基準量を用いる手法である.しかし,これらは砂時計型ネットの次元数決定には不適切であることが示される.まず,AICやMDLの定義式に現れる「モデルのパラメータ数」として,単純に砂時計型ネットのパラメータ数を代入するのは,不合理なことが指摘される.さらに,代入すべき正しい値を用いたとしてもなお,特別な場合を除いて不具合が生じてしまう.その本質的な原因は,砂時計型ネットの学習が,変数誤差モデルという非標準的な推定問題(第一の主題参照)なことにある.本研究では,砂時計型ネットに対応した3種類の基準量を導く.そして,3種類の基準量がどれも良好な結果となること,および,AICやMDLでは正しい決定ができないことを,シミュレーションで確認する.また,別のアプローチとして提案された過負荷学習法の難点も示す.

　本論文は「自己想起学習を用いたデータフィッティングに関する研究」と題し,6つの章と付録からなる.

　与えられたデータから,そのデータの持つ法則性を見出すことは,データ処理の主要な目的の一つである.特に,線形な関係を抽出する手法である主成分分析は,広い分野で一般的に用いられている.その非線形への拡張の一つとして,自己想起学習とよばれる方法がある.

　自己想起学習は,砂時計型と呼ばれる特定の構造を持つニューラルネットによって恒等写像を学習することを用いた教師なし学習であり,従来は主にデータに含まれる「内部表現」を自動的に獲得する「モデル」として研究されていた.本論文は,自己想起学習が曲面によるデータフィッティングとみなせることに着目し,それを統計学的側面から考察し,ノイズ除去,異常検出,情報圧縮,特徴抽出等の工学的な問題に適用するための理論と具体的方法を展開したものである.

　第1章は「はじめに」で問題の提起,本論文の目的および構成について述べている.

　第2章「変数誤差モデルへの砂時計型ネットの適用」では,模範出力だけでなく例題入力の方にもノイズがのっている学習問題が扱われている.砂時計型ネットの自己想起学習が,このような学習問題(変数誤差モデルと呼ばれる統計モデル)に対する最尤推定と等価なことが指摘され,さらに,通常のニューラルネットによる学習と比較しての利点が示される.本章は砂時計型ネットに関する本論文での基本的観点を与えるものである.

　第3章「砂時計型ネットの多重化」では砂時計型ネットの限界を指摘し,それを打破するために砂時計型ネットの多重化を提案する.砂時計型ネットの限界の本質は,一般の曲面(多様体)を一枚の座標系で表現しようとしている点にある.砂時計型ネットを多重化してMixture of Expertsの形とすれば,広いクラスの曲面を表現することができる.この方法を用いて円やトーラス等の典型的な局面への適用を例示している.

　第4章「多価関数の習」では砂時計型ネットを用いた多価関数の学習を扱う.「曲面への射影である」という砂時計型ネットの特性に着目して,逐次代入で想起が可能なこと,カオス的挙動が生じないこと,偽記憶が判別できることなどが示される.また、マニピュレータの姿勢の学習等への応用例によってその性能を確認している.

　第5章「次元数の決定法」ではフィッテイングする曲面Sの次元数が与えられていない場合に,これをデータ自身に基づいて決定する方法が議論される.これは統計で言うモデル選択の問題であるが,広く用いられているAICやMDLのような基準量は,砂時計型ネットの次元数決定には不適切であることが示される.それらにかわるものとして,砂時計型ネットに対応した基準量が提案され,それらの有効性が検証されている.

　第6章は「おわりに」で本論文のまとめと今後の課題が述べられる.

　これを要するに,本論文は,砂時計型ネットの自己想起学習が曲面によるデータフィッティングに他ならないことを明確にし,これが変数誤差モデルに対する最尤推定と等価であることを用いて,自己想起学習の工学的応用の可能性を指摘しその具体的方法を提案したものであり,情報工学,統計数理工学に貢献する所が大きい.

　よって本論文は博士(工学)の学位請求論文として合格と認められる.