第1章:はじめに

　脳内においては、各々のニューロンの選択性による情報表現(ある特定の傾きの直線にのみ反応するニューロン等)と、それらニューロン群の配置による情報表現(類似した傾きに反応するニューロン群がクラスタをなした方位コラム等)が存在しており、後者を「トポグラフィックマッピング」と呼ぶ。1970年代中期より、このマッピングを自動形成させる様々なモデルが提案されてきた。それら従来のモデルのほとんどは、生理学的な知見に基づき、ニューロン間の局所的相互作用(Kohonen自己組織化マップの近接関数等)を利用している。この局所的相互作用の働きにより、近接したニューロンの対応する入力パターンが類似性を増す方向に適応が進み、結果として大域的なトポグラフィックマッピングが形成される。工学的な観点から見ると、これらのモデルは局所的な相互作用のみを利用しているので、要求される計算量が小さいことが大きな長所である。すなわち、これらのモデルは大規模データの次元縮約を効率的に行なう能力を持っている。そのため、このような局所的モデルは、数百万通のテキストデータの分析などに応用されており、成果をあげている。しかし、そこでは、データの元々持っている大域的な関係性は無視されているため、場合によっては不十分な分析しか出来ない場合がある。また、局所的モデルでは、局所最適解を避けるのが困難である。

　そこで、本論文では、元のデータの持つ大域的な関係性を全て考慮しながら、かつ効率的にマッピングを形成するモデル(大域的写像分析、GMA)を提案し、そのモデルの工学的応用を行なった。GMAの基本的なアイデアは、多次元尺度構成法(MDS)に確率勾配アルゴリズムを適用して、局所的要素と大域的要素を分離することである。それにより、GMAは計算量を増加させることなく、元のデータの全ての大域的関係性を出来るだけ保存するようなトポグラフィックマッピングを形成することが出来る。

　第2章:標準GMAモデル

　標準GMAモデルは、古典的多次元尺度構成法に確率勾配アルゴリズムを適用することによって構成されるモデルである。標準GMAモデルは効率的に多次元尺度構成法を実行することが出来、かつ、ニューラルネットワークの形にインプリメントすることが出来る。標準GMAモデルの大きな特徴は、古典的多次元尺度構成法に基づいているがゆえに、大域的最適性が保証されていることである。これは、多くの局所的モデルに比べて本モデルが大きく優位な点であると考えられる。標準GMAモデルの有効性を検証するため、筆者は自然画像を入力とした数値実験を実行した。その結果、標準GMAモデルは代表的なトポグラフィックマッピングの一種である網膜部位対応を形成することが可能であることが示された(図1)。

　第3章:離散的GMAモデル

　離散的GMAモデルは、ニューロンが離散的な格子上に配置されている場合に有効なモデルである。筆者は焼きなまし法と離散的GMAモデルを数値実験で比較し、ニューロンの数が膨大な場合にはGMAが非常に有効であることを示した。さらに、さまざまな入力を離散的GMAモデルに与えることで、興味深いトポグラフィックマッピングを形成させることに成功した。例えば、両眼から視神経がオーバーラップして視覚野に投影されるマッピングや、相関のない異なる感覚系から投射された独立なマッピング群などを形成させることが出来た。これらの結果から、GMAはニューロンの数が膨大な状況下でもうまく作動してトポグラフィックマッピングを形成することが出来ることが示された。

　第4章:GMAの拡張と応用

　GMAは、標準GMAモデル以外にも拡張可能であり、筆者は、SSTRESSと呼ばれる指標に基づく多次元尺度構成法に関してもGMAモデル(GMA on SSTRESSモデル)を構築した。さらに、それらのGMAモデルを実際の大規模文書データの分析に応用した。具体的には、筆者は約80000通のUsenetの記事を収集して分析にかけた。各記事は単語に分解され、共通の単語を多く持つものをより近くに配置するようなマッピングを、標準GMAモデル及び、GMA on SSTRESSモデルにより求めた。さらに比較のために、Kohonenの自己組織化マップ(SOM)による分析も同様に行なった。その結果、大域的な関係性の利用により、GMAは、SOMよりも明確に、データからクラスタを見つけ出すことが出来ることが分かった。また、標準GMAモデルは、SOMのようにデータをゆがめる性質がないため、データからより有効な軸を抽出することが可能であることも分かった。これらの結果は、GMAが、大規模データの分析における応用において非常に有効である、という筆者の主張を実証するものである。

　第5章:ツリー法によるGMAの拡張

　先に述べた通り、GMAは局所的要素と大域的要素の分離を利用した手法であり、分離不可能な場合は適用出来ない。しかし、ツリー法という計算天文学などでよく利用されるアルゴリズムを用いることで、その適用範囲を広げることが可能である。われわれは、LOGSTRESSという名の分離不可能な指標に基づく多次元尺度構成法を提案し、GMAとツリー法を組み合わせた解法を提案した。いくつかの簡単な数値実験により、ツリー法による拡張が有効であり、効率的アルゴリズムを構成することが可能であることが実証された。

　第6章:おわりに

　本論文では、元のデータの大域的な関係性を保存しつつ、かつ効率的にトポグラフィックマッピングを形成する手法、GMAを提案した。さらに様々な数値実験によりGMAの有用性を実証した。今後は、GMAを、データマイニングで注目されている様々な問題に応用していく予定である。また、GMAの理論的側面を明らかにし、局所的モデルとの組合せを可能にしていきたいと考えている。さらに、トポグラフィックマッピングの形成を情報理論の観点から整理して原理を導き出し、それに対してGMAの適用を行ないたいと考えている。

Figure 1:標準GMAモデルによる網膜部位対応の形成

　本論文は,トポグラフィックマッピングの自動形成の新しいモデルを提案しているものである.従来のトポグラフィックマッピングの自動形成モデルの研究は,神経生理学的な知見に基づいているとともに,計算量が少なく工学的にも適しているため,KohonenのSelf Organizing Map(SOM)に代表される局所的相互作用を利用した自己組織化に基づくものが中心となっている.一方で,大域的な関係を用いることで局所的な関係からは見いだせないトポグラフィックマッピングが構成される可能性があること,また,局所的なモデルでは内在的に局所最適解を避けることが難しいという問題があることから,大域的な関係性を考慮したトポグラフィックマッピングの自動形成にも重要性がある.しかしながら,大域的な計算では,原理的には全てのニューロンのペアが計算対象となり,計算量が莫大となるため実際的なデータに対して計算ができず研究が進展してこなかった.

　このような背景のもとで,本論文では,大域的な関係性を考慮したトポグラフィックマッピングの自動形成について,まず理論的に,

　1.ある条件を満たす場合は効率的に計算可能であること

　2.ある条件を満たす場合は大域的最適性が保証されるものであること

　3.上記の1.の条件を満たさない場合でもツリー法を用いることである程度の計算の効率化が可能であること

が示されるとともに,実験により

　4.クラスタを構成するように人工的に生成したデータからクラスタを再構成可能であること

　5.両眼視を模した実験などで興味深いトポグラフィックマッピングが形成されること

　6.出現単語の類似性に基づきネットニュースの記事群から特徴の抽出が可能であること

が示されている.

　まず,1.では,トポグラフィックマッピングの自動形成を次元縮約の観点から捉え直し,次元縮約を行う一手法である多次元尺度構成法(MDS)に確率勾配アルゴリズムを適用したときに,MDSの代表的な指標である,古典的多次元尺度構成法の指標,および,SSTRESS指標については,局所的要素と大域的要素が分離可能であることが導かれ,それを利用することで指標の勾配計算の一回のステップがニューロン数Nに対してO(N2)ではなくO(N)で計算可能であるという重要な結果が示されている.このトポグラフィックマッピングの自動形成モデルは大域写像分析(GMA)と名付られている.(第2章)

　2.では,古典的MDSの指標を用いた場合に,GMAで求められる解の大域的最適性が保証されるものであることが証明されている.(第2章)

　3.では,大域的な計算が上記の1.の条件を満たさない場合でも,天体物理学などで多体問題を近似的に計算するために用いられる手法であるツリー法を用いることで,効率化が可能であることが示されている.(第5章)

　4.では,クラスタを構成するように人工的に構成したデータから,GMAによりクラスタが再構成されることが示されている.まず,古典的MDSの指標を用いたGMAによりクラスタが形成されることが示されている.次に,SSTRESS指標を用いた場合はクラスタ中のデータの相関が低い場合はGMAによりクラスタが再構成されないことが示されている.これは局所最適に陥るためと考えられ,古典的MDSの指標を用いたGMAで保証されている大域的最適性の有効性を間接的に示す結果となっている.また,クラスタの階層があるようなデータに対して,新たに導入したLOGSTRESS指標を用いると階層のあるクラスタが再構成されることが示されている.これはGMAが高い能力を持っていることを示すものである.(第5章)

　5.では,さまざまな入力に対してトポグラフィックマッピングが形成されることが示されている.まず,自然画像を入力としたトポグラフィックマッピングの自動形成の実験により,網膜部位対応が形成されることが示されている.(第2章)また,幾何図形(三角形)を連続的に変形しながら入力として与えて,GMAによりトポグラフィックマッピングが形成されることが示されている.さらに,入力空間を2つに分け両方に同じ入力を与えることで両眼からの入力を模した実験で,2つに分割された空間の対応する部分が出力空間で同じ位置に対応するようにトポグラフィックマッピングが形成されることが示されており,興味深い.また,入力空間を2つに分けそれぞれに独立な入力を与えると,独立なトポグラフィックマッピングが形成されることも示されている.(第3章)更に,トポグラフィックマッピングの自動形成の数値実験を行い,高速焼き鈍し法に比べてGMAの方が残誤差および計算時間という点で有利であることが示されている.(第3章)

　6.では,実データとしてネットニュースの記事を2次元にマップすることで記事群から特徴を抽出している.このマッピングの形成では,古典的MDSの大域的最適解となるトポグラフィックマッピングを形成しておいてから,SSTRESS指標を用いて最適化するというアイデアで,SSTRESS指標の局所最適に陥らずに古典的MDSよりもシャープなトポグラフィックマッピングが得られることが示されている.この結果をSOMで得られた結果と比べることで,SOMでは発見できなかったクラスタが発見できることと,SOMでは顕在しない軸(単語数)がGMAでは顕在するなど,従来発見されなかった大域的な構造が検出できていることが示されている.(第4章)

　以上のように,本論文は,従来研究されてこなかった大域的な特徴に基づいたトポグラフィックマッピングの自動形成の新しいモデルとしてGMAを提案し,理論(1.,2.,3.)と実験(4.,5.,6.)により,可能性と有効性を示したものである.これは、従来,あまり研究されてこなかった大域的な関係性の研究に突破口を開いたものであり,この分野に広く貢献していくものと考えられる.以上のことから、本論文は博士(学術)の学位論文としてふさわしいものであると審査委員会は認め、合格と判定する.