本論文は、ニューラルネットワーク(神経回路網)の有する力学的性質の数理解析と、それを応用した情報処理アルゴリズムの提案を行った結果をまとめたものである。

　ニューラルネットワークは、非線形多次元系の一種である。一般には、非線形多次元系の力学は複雑な数理構造を持つ。しかし、ニューロダイナミクス(神経力学)では、その状態遷移を超球面上に射影すると、非線形変換は局所的にしか働かない(図1)。よって、ネットワークの結合荷重行列の固有空間解析をもとに、ニューラルネットワークのダイナミクスを幾何的に説明することが可能である。結合荷重行列の固有空間上でニューロダイナミクスを考えると、系は基本的に固有値(或は固有値の絶対値)が大きい固有ベクトル方向へと状態遷移する。しかし、線形システムと異なり、非線形変換による安定化効果があるので、状態遷移の進行は線形変換の流れの速度に依存する。そして、この線形変換の流れは固有値の分布によって決定される(図2)。このことから、ニューロダイナミクスの特徴は以下のようにまとめられる。まず、系の局所的地形以上の情報が得にくい一般の非線形問題と対比すると、ニューロダイナミクスは非線形効果が局所的であり、系の全地形の概形を線形で近似できるので、工学的に扱いやすい。また、線形システムと比べると、単純な線形系が最大固有値のみに支配されるのに対し、ニューラルネットワークは固有値の分布が支配する力学系であるという点で、より多様な動的振舞を実現できることになる(図3)。

図1:ニューロダイナミクスにおける超球面上の状態遷移。荷重行列II’による線形変換がドミナントに働く。

図2:固有空間で見たニューロダイナミクスの状態遷移(Eigenvalue Number:固有値の大きい順:Inner Product:状態ベクトルと固有ベクトルの内積)。固有値の分散が大きい場合は、最大固有値を持つ固有ベクトル付近まで状態遷移は進む(右図)が、分散が小さい場合は、状態遷移は途中で停止する(左図)。

図3:一般の線形、非線形システムと比較したニューロダイナミクスの特徴。

　以上で得られたニューロダイナミクスの幾何構造に基づき、ニューラルネットワークの情報処理への応用として、以下に列挙するアルゴリズムを提案した。

　(1)自己相関連想記憶において、ニューロウインドウ法による階層的概念形成モデルを提案した(図4)。ニューロウインドウ法とは、窓型の非単調出力を持つニューロンにおいて、窓の大きさを制御する方法である。この手法を用いることで、固有値の大きい空間が系を支配するというニューロダイナミクスが持つ制限を取り払い、ある特定の範囲の固有値を持つ空間を安定化することが可能となる。このニューロウインドウ法を利用し、階層的クラスターをなすパターンの記憶において、各階層レベルにおける代表(平均)パターンの選択的想起を実現した(図5)。

図4:ニューロウインドウ法による選択的想起の概略図

図5:ニューロウインドウ法において、窓の大きさを示すパラメータhを変化させた時に数値実験で得られる軌道。三層の相関構造を持つパターンをネットワークに記憶させた場合、Memory.Concept II.Concept Iという各階層の代表パターンがhを制御することで選択的に取り出せる。

　(2)非対称荷重を持つネットワークの幾何構造を解析することにより、相互相関連想記憶において、ニューロウインドウを利用してリミットサイクルを選択的に取り出す方法を提案した。

　(3)組み合わせ最適化問題において、ディジタル並列計算機で高速に準最適解を探索するアルゴリズムを提唱した。提唱した方法では、組み合わせ最適化問題を解くニューラルネットワークの結合荷重行列の固有空間の構造に着目し、計算を離散化した時に不安定要素となる絶対値の大きな負の固有値成分を取り除く。それにより、高速な収束を促す離散化が可能となり、準最適解の獲得までに必要な計算時間を大幅に減らすことができた(図6)。

　また、以上で述べたニューラルネットワークのダイナミクスの特徴、及びそれを応用したアルゴリズムをより定量的に解析するために、統計学/統計力学を用いた解析(SCSNA、統計神経力学)を行った。その結果、ニューロウインドウ法を用いた連想記憶について、その定量的特性に関する理論が整備され、選択的想起における適切なパラメータの値を理論計算に基づいて設定することが可能となった。

図6:組み合わせ最適化の数値実験におけるエネルギー減少過程。エネルギーが低いほど最適解に近い。(a)提案したアルゴリズムが(b)従来のアルゴリズムより高速に準最適解に収束している。

　本論文は「ニューラルネットワークのダイナミクスに関する研究」と題し、ニューラルネットワークの動的性質に関する理論解析と、その解析結果に基づく情報処理アルゴリズムの開発を行った結果をまとめたものである.理論解析の手法としては、荷重行列の固有空間解析に基づく幾何的解析を中心に、統計的手法を用いたS/N解析による定量分析を併せて議論を行っている.また、応用研究においては、パターンの階層的クラスタリング、組み合わせ最適化問題などに対する並列処理アルゴリズムの開発を行っている.それらの結果は以下の10章にまとめられている.

　第1章は「序論」であり、本研究の背景と目的、および本論文の概要と構成について述べている.

　第2章は「ニューロダイナミクスの幾何」と題し、ニューラルネットワークの定式化を行うとともに、ニューロダイナミクスにおける状態遷移の幾何構造を明らかにしている.

　第3章は「対称ネットワークの幾何」と題し、対称な荷重行列を持つニューラルネットワークの例として自己相関連想記憶を取り上げ、その力学的性質について議論を行っている.まず、幾何的視点から、荷重行列が対称の場合、絶対値の大きい固有値を持つ荷重行列の固有ベクトル方向へ状態遷移が進むことを明らかにし、記憶容量の限界、偽記憶、及び非単調ダイナミクスによる記憶容量の向上等の自己相関連想記憶特有の現象に説明を与えている.また、得られた知見をもとに、計算量を増加させずに記憶容量を拡大する新たな記憶法(符号反転記憶法、ペアリング記憶法)を提案している.提案された記憶法は、記憶容量を約1.4倍に拡大し、非単調ニューロンとの併用により容量は更に拡大されることが示されている.

　第4章は「非対称ネットワークの幾何」と題し、非対称な荷重行列を持つニューラルネットワークの力学的性質について、相互相関連想記憶、及びランダムネットワークを取り上げて議論を行っている.荷重行列の固有空間解析から、系は絶対値の大きい固有値を持つ固有ベクトルに支配され、その固有値の位相を角速度として状態ベクトルが回転することが示されている.さらに、非対称系に対応した非単調ニューロダイナミクスの提案が行われている.

　第5章は「ニューロウインドウ法」と題し、相関型連想記憶において、階層的に相関を持つパターン群を記憶した時の記憶パターンと相関の中心との選択的想起法が検討されている.自己相関連想記憶において、階層的相関を持つパターンを記憶した場合、各階層における相関の中心パターンとして概念パターンが定義される.本論文では、窓型の非単調ニューロンのパラメータを制御しながら想起を行うニューロウインドウ法が提案され、その方法を用いることで記憶パターンと各階層の概念パターンの選択的想起が可能になることが示されている.これは、パターンの階層的クラスタリングを並列計算を用いて実現していることに相当する.また、相互相関連想記憶においても、記憶したパターンの系列とその相関の中心(概念系列)を選択的に想起する方法が示されている.

　第6章は「連想記憶の統計理論解析」と題し、第5章で提案されたニューロウインドウ法を用いた連想記憶の記憶容量やパラメータの臨界値等の定量値を統計理論を使って計算し、シミュレーションで得られた定量的性質を理論的に再現している.

　第7章は「連続時間ダイナミクス」と題し、連続時間ダイナミクスを持つニューラルネットワークの力学的特徴を、離散時間ダイナミクスを持つニューラルネットワークと比較して論じている.

　第8章は「組み合わせ最適化の幾何とその応用」と題し、組み合わせ最適化問題を解くニューラルネットワークを幾何的な視点から解析し、並列ディジタル計算機で高速に準最適解を得るアルゴリズムを提案している.従来提案されている組み合わせ最適化のための荷重行列設計法では、並列ディジタル計算機を導入しても収束までの時間短縮を図ると系が発散し準最適解が得られないという問題点があった.本論文においては、系の発散要因となる最小固有値成分を除去し、並列ディジタル計算で高速に準最適解を得るアルゴリズムを提案している.さらにこのアルゴリズムを用いて分割問題、巡回セールスマン問題を解くことにより、その有効性を実証している.

　第9章は「学習に関する考察」と題し、連想記憶で取り上げた相関学習以外の学習則として、直交学習やBP学習等の繰り返し学習について取り上げ、それらの学習則を用いたニューラルネットワークについて簡単な考察を行っている.

　第10章は「結論」であり、本研究の成果を要約して述べている.

　以上を要するに、本論文は、ニューラルネットワークの動的性質を幾何学的手法により解析し、その性質を明らかにするとともに、その結果を応用して種々の並列型計算アルゴリズムの提案を行ったものであり、ニューラルネットワークの分野に寄与するところ大である.

　よって著者は東京大学大学院工学系研究科における博士(工学)の学位論文審査に合格したものと認める.