本研究のテーマはニューロン集団はどうやって記憶を呼び出すかである。1982年、J.J. Hopfield は統計力学にある自由エネルギーの最小化の概念を記憶研究に導入した。この概念によると、記憶はある表面上の最小状態であり、ニューラルネットワークが記憶を思い出すとき、あるエネルギーを最小化する、つまり、表面に沿って下に向いて移動することで実現される。この簡単な概念は、記憶の働きのメカニズムの理解にとって、とても役に立った。だが、問題が二つある。一つ目はエネルギー面上には保存された記憶だけではなく、他のlocal minimumも存在している。これらのlocal minimumは記憶を思い出すダイナミクスを妨げるので、それらをエネルギー面上から消す仕組みが必要である。

そして、普通のニューラルネットワーク模型は二体相互作用を使っている。しかし、記憶が働く神経経路には多体相互作用がしばしば見られることが実験から分かってきた。さらに、一般のニューラルネットワーク模型では、一つのニューロンが受けた刺激を細胞体について線形的に足す。実際のニューロンは複雑なデンドライトをもっていて、一つのニューロンでも、デンドライトにより、複雑な計算をすることができる。デンドライトにより、実は、ニューラルネットワークの作用と機能に大きな違いがあるのが最近の研究によってわかってきて、いまではモデルを立てる人々に注目されている。デントライト上の多体ニューロンの信号がデンドライトの構造により複雑に結合したりして、これは一般的な線形的に入力を足すニューロン模型では表すことができない。従って、二体模型を超える模型が必要である。

本研究では相互作用は記憶のエネルギー表面にどのような影響があるかを考える。

第1章ではまず、スピンニューロン模型とHopfield 模型を紹介する。その後、multi-spin という模型とその模型を用いてニューラルネットワークを表現する問題を説明する。最後は、研究のアイデアを紹介する。

第2章はHopfield 模型を簡単に検討する。まず神経細胞の解剖学と機能を説明し、そして、McCulloch-Pitts ニューロン模型を紹介する。McCulloch-Pitts ニューラルネットワークとIsing スピン模型の関係を説明する。その後、Hopfield 網を紹介し、その相空間を用いて、local minimum の問題を紹介する。最後はlocal minimum をどうやって理解するかの研究を少し紹介する。

第3章ではCoherent Spin-Interaction (CSI) 模型を提案する。まずデンドライトの非線形性を紹介し、multi-spin 模型の限界を説明する。それに対して、デンドライト上の多体ニューロン相互作用を考慮し、多体的ニューロン相互作用を表すため、集団的コヒーレント相互作用(coherent collective firing)のアイデアを提案する。この相互作用を持つようにHopfield 模型を拡張し、CSI モデルを構築する。 その後、CSI 模型のエネルギー表面の構造を解析する。

第4 章から6章までは、数値計算でCSI 模型の研究を行う。

第4章は小さいネットワークを用いて、CSI 模型の状態空間の構造を調べる。この章の前半はrandom 記憶を調べ、後半はcorrelated 記憶を調べる。前半の部分で、状態空間上のアトラクターの数(図1)、種類、安定性、盆地のサイズを計算した。コヒーレント集団のサイズが上がると、spurious states が消えて、メモリ状態が安定化することがわかる。そして、コヒーレント集団のサイズが上がると状態空間が安定と不安定領域の二つに分かれることも分かった。記憶状態の分布を調べるため、Shannon エントロピーを計算した。最後はコヒーレント集団のサイズが上がると、状態空間のrepeller の数が増えることを発見した。後半correlated pattern の部分は、まずpseudo-inverse 法を紹介し、この網の限界を説明する。その後、前半の部分と同じような計算をcorrelated 記憶を用いて行い、pseudo-inverse とCSI 模型を比較した。第4章の結論は、CSI 模型の保存量はHopfield とpseudo-inverse 網より大きいことである。

第5章は秩序パラメーターを紹介し、無雑音のCSI モデルの相転移を調べる。まず、スピン模型に伝統的な秩序パラメーター磁化mを紹介し、mの問題を説明する。そして、5章と6章に使う秩序パラメーターM M C とを導入する。その後は、状態空間でのサンプリング軌道でこれらの秩序パラメーターを計算し、k-pの位相図を描いた。M C の位相図上では、メモリの部分が空白の形で表されることがこの章のメインの結果である。

第6 章はシナプス雑音をCSI モデルに取り込んで、雑音はどのような効果を記憶に与えるかを調べる。まず、Glauber ダイナミクスを紹介する。そして、シナプス伝達のメカニズムを説明する。その後、Glauber ダイナミクスとシナプス伝達の関係を示す。CSI 模型ではなぜGlauberダイナミクスは良くないのかを説明する。そして、雑音を取り込んだCSI模型の運動方程式を導入し、5章の秩序パラメーターでCSI模型のk-p-T空間上の相転移を調べた。

第7章は本研究をまとめ、結論をする。本研究から分かったのは、CSI モデルのエネルギー表面はコヒーレント相互作用の集団サイズで変化することである。集団サイズを大きくすると、エネルギー表面が滑らかになり、local minimum が消えて、記憶の保存にいい形になる。しかし、大きい集団は雑音に弱く、大きすぎると、CSIモデルの記憶の性能は逆に悪くなる。従って、一番いい集団サイズは中間領域のサイズである。

図1:集団的コヒーレント相互作用サイズkを変えた場合のメモリ状態の数(青丸)とlocal minimumの数(赤丸)。

序

1943年,McCullochとPittsは神経細胞の二値表現とその繋がり及び発火の機能的モデルを提唱した.その後Hopfieldによって,この二値表現がイジングスピン系のエネルギー安定性の問題に翻案され,スピン系の状態空間に生成されるアトラクターを記憶内容と同一視する「記憶」模型が確立された.その後,この基本モデル(Hopfield模型)は,本来の神経生理学の枠を超えて様々な形で発展的に研究されてきた.たとえば,図形情報等の記憶の蓄積と回復の工学的応用,ニューロコンピュータの構築,情報統計力学,多極小値を持つ場における検索の問題,アトラクターの生成とカオスのダイナミクの関連の研究,個別の分野における具体的応用等,広義の情報科学や非線形科学などの物理科学でも盛んに研究が続けられている.現在までに,Hopfield模型は様々な改良や新しい考え方が導入され,高次の「ニューラルネットワーク」が設計されている.しかし,そもそも比較的素朴な(基本的な)レベルおいて,Hopfield模型では記憶容量が小さく,偽のアトラクターを多数生成することから,十分な記憶機能を持たないことが知られていた.Koh Yang Wei Patrick氏による本学位論文は,イジングスピン系の枠組みの中で,記憶容量を飛躍的に増大すると同時に,偽のアトラクターを消滅させていく原理と方法を提案し,その数値的検証を行ったものである.

研究の背景と目的

スピン系のメモリー容量を増やすために,2体のスピン間の相互作用だけに基づいてハイゼンベルグハミルトニアンを考えるHopfield模型を改良して,3体以上の相互作用を考える多重スピンモデルが提案されている.確かに組み合わせが増え,メモリー容量は増加するが,基本的な考え方はHopfield模型と変わることはなく,偽アトラクターもその分多く発生し,計算の手数を考えると,多重スピン相互作用は大きな改善には繋がらない.Koh Yang Wei氏も数値的にその事実を確認してから,以下に要約する新しい考え方を提案している.

論文の内容と意義

本学位論文は7章と一つのappendixからなる.第一章と二章は,序論とイジングスピン模型によるニューラルネットワークの概論に当てられ,第7章は締めくくりの結論に当てられているので,内容としては事実上4章構成(第3章-第6章)になっている.

第3章が本論文のハイライトであり,Koh Yang Wei氏は,ここで基本骨格となるアイデアを提示している.Hopfield模型においては,各スピンはそれぞれが個別のベクトル量として二体間の直接相互作用(内積相互作用)をしている.一方,Koh氏のモデルでは,各スピンは他のk-1個のスピンを要素として,一つのk‐ベクトルを構成し,更に,全てのスピンの組み合わせによるk‐ベクトルの集合を一つの超ベクトルとして表す.このようにして,1個のスピンが他のスピンと共同して,大幅に拡大されたベクトル空間の成分として埋め込まれることになる.k=1の場合がHopfield模型に当たる.記憶内容も,この超ベクトル空間に書き込まれるものとし,記憶の回復は,スピンがとる超ベクトル状態と記憶された超ベクトルの内積を使って呼び戻される.ここでは超ベクトルの各成分であるベクトルの中に,情報が「位相」として格納され,この位相が正しく復元されることが,記憶の回復に対応するように設計されている.この理由で,集団的コヒーレント相互作用によるニューラルネットワークと名付けられた.

記憶の呼び戻しの過程はHopfield模型と同様に行われる.この過程で,大きな数の二項係数を含む量が現れるが,数値的にオーバーフローしない方法論を開発することにより(Appendixに記載),本モデルを実効的に計算可能たらしめている.

第4章において,提案されたモデルの数値的検討がなされている.そこでは,与えられたスピン数に対して,次数kを増加させることによって,記憶容量が飛躍的に増加するとともに,偽アトラクターが急激に減少し,ついには消滅すること様子が示されている.また,アトラクターの口径が大きくなるとともに,アトラクターを縁取りするように擬セパラトリクスが発達し,格納されている記憶に結びつかない初期値を投入すると,誤った記憶アトラクターに落ち込むことなく(もちろん偽アトラクターも存在していない),この擬セパラトリクスに閉じ込められたカオス的徘徊運動を続ける(いわゆる検索を続ける)ということも明らかにされている.

第5章では,次数kを上げることで提案されたニューラルネットワークの性能が上がる様が,相転移とのアナロジーで解析されている.

第6章では,本ニューラルネットワークの発火プロセスにおいて,ノイズを負荷したときの性能の変化が検討され,数値計算結果が示されている.それによると,揺らぎが小さい時は記憶の呼び戻しに対して,正の効果が現れ,逆に大きすぎると,ニューラルネットワークとしての機能が弱まることが示されている.これの結果は,直観的にも理解しやすい.ただし,ここで見いだされたノイズの正の効果は,多極小値ポテンシャル場における偽アトラクターからの脱出の方法としてノイズを負荷することとは全く異なるものであることは注意してよいだろう.

以上のように、Koh Yang Wei Patrick氏の学位論文は、ニューラルネットワークの基礎研究として独創的であり,その結果は重要かつ興味深い。本学位論文は,高塚和夫教授との共同研究であるが,ほとんどすべての部分において,論文の提出者が主体となって理論の提案と解析を行ったものである.よって本論文は博士(学術)の学位請求論文として合格と認められる。