パターン系列の符号化及び連想記憶は人間の日常の心理活動によく現れる。本論文はまずこの心理現象を抽象化することによって、パターン系列の符号化及び連想記憶に関してより一般的な概念を導入することを試みた。このために、ニューラルネットワークを用いてパターン系列の符号化、自己組織及び連想記憶に関する概念を明確にした。これらの概念を簡潔に述べると、次のようになる。

　Pはパターンの集合とし、Cはcueパターンの集合、Sはstatuaパターンの集合、Cdはコードのパターンとする。S(P)はPの中のパターンからなるパターン系列の集合である。

　(1)∀(x_c,x_s)∈C×S,写像fにより、x(1)x(2)…x(n)∈S(P)が得られることをパターン系列の想起といい、写像fをパターン系列の連想写像と呼ぶ。∀(x_s,x(1)…x(n))∈S×S(P),写像gにより、s_c∈C_dが得られることをパターン系列の符号化といい、写像gをパターン系列の符号化写像と呼ぶ。

　(2)P＝{0,1}^mとする。ニューラルネットワークにおけるパターン系列の符号化及び連想記憶とは、連想写像fと符号化写像gとがニューラルネットワークにより実現され、想起と符号化とがニューラルネットワークにより行われることである。特に、パターン系列の符号化がニューロンの荷重ベクトルの修正により固定されることをパターン系列の自己組織という。

　これらの概念は人間だけでなく、生体、機械の多くの情報処理プロセスを描くことができる。ゆえに、ニューラルネットワークにおけるパターン系列の符号化、自己組織及び連想記憶に関する研究はそれなりの意義がある。本研究は猿の図形パターン系列の連想記憶が持つ神経生理学的特徴に基き、パターン系列の符号化、自己組織及び連想記憶を実行する回路を提案する。

　宮下保司氏は猿に対して行った遅延見本合わせ実験により次の現象を発見した。

　(1)特定の刺激図形に対して興奮するニューロンが存在するが、数は少ない。

　(2)あるニューロンが特定の図形に対して興奮すれば、提示順番に隣合った図形に対しても興奮する可能性が高い。

　これらの現象をニューラルネットワークの用語で述べると次のようになる。

　(1)刺激パターンの内部表現がスパースである。

　(2)刺激パターンの時間的相関関係が内部表現の空間的相関関係に変換される。

　本研究はこれらの現象の特徴を持つスパース符号化回路のダイナミックスに対する考察から始る。スパース符号化回路は2次元のneural arrayである。ただし、各ニューロン自身は正のフイードッバクを持っており、隣接したニューロンとは相互抑制性結合を持っている。このような回路に入力パターンを与えると、出力が一種の空間的スパース興奮パターンになる。これを入力パターンの内部表現と呼ぶ。入力が消えると、もともと興奮するニューロンの中に、しきい値の大きいものは興奮しなくなり、しきい値の小さいものは興奮が消えず、新たな入力パターンが来っても興奮し続ける。そこで、この残留興奮により、2つの提示順番で隣り合った入力パターンの内部表現が高い空間的相関関係を持つようになる。このスパース符号化回路が本論文で提案した諸モデルで重要な役割を果たしている。

　パターン系列x_a(1)x_a(2)…x_a(n_a)の各パターンをx_a(1),x_a(2),…,x_a(n_a)の順にスパース符号化回路に与えてみよう。すると、x_a(n_a)の内部表現s(n_a)にはx_a(1),x_a(2)…x_a(n_a-1)の残留興奮が含まれている。ゆえに、s(n_a)はパターン系列x_a(1)x_a(2)…x_a(n_a)の各パターンの情報を含んでおり、このパターン系列のコードとみなしてもよい。これはパターン系列の符号化の基本的原理である。パターン系列の符号化回路がこのスパース符号化回路のバリエーションである。

　パターン系列の符号化回路とパターンの自己組織回路を組合わせて、パターン系列の自己組織回路が出来上がる。本論文で用いられるパターンの自己組織回路はAmari-Takeuchiモデルの改良とみなせる。この回路は荷重ベクトルの初期値によらず、各ニューロンが環境パターンの検出細胞に収束する。相互抑制性結合を導入すれば、検出細胞の数の不釣合いが大幅に改善される。この回路がs(n_a),1m,に対してのみ荷重ベクトルの修正を行えば、各パターン系列x_a(1)x_a(2)…x_a(n_a),1m,の検出細胞が形成される。

　パターン系列の連想記憶回路には2種類の構造がある。構造1の基本的原理は以下のように表される(簡単のために、statusパターンを省略した)。

　すなわち、結合行列W₁により、からs()が想起され、結合行列W₂により、s()からx_a(1)が想起され、そして、再びW₁により、s()からs(x_a(1))が想起され、W₂により、s(x_a(1))からx_a(2)が想起される。このように進めていって、W₁により、s(x_a(n_a-1))が想起されて、W₂により、x_a(n_a)が想起される。さらに、W₁により、s(x_a(n_a-1))からs(x_a(n_a))が想起され、W₂により、s(x_a(n_a))から0が想起される。想起プロヤスがこれで終了する。

　構造2の基本的原理は次のように表される(簡単のために、statusパターンを省略した)。

　→s()→x_a(1)→s(x_a(1))→…→s(x_a(n_a-1))→x_a(n_a)→s(x_a(n_a))→0

　が符号化回路によりs()に変換され、結合行列W₁により、s()からx_a(1)が想起され、そして、再び符号化回路により、x_a(1)がs(x_a(1))に変換され、W₁により、s(x_a(1))からx_a(2)が想起される。このように進めていき、x_a(n_a-1)がs(x_a(n_a-1))に変換され、W₁により、x_a(n_a)が想起される。さらに、x_a(n_a)がs(x_a(n_a))に変換され、s(x_a(n_a))からW₁により0が想起される。想起プロセスがこれで終る。

　x_a1(₁)＝X_a2(₂),x_a1(₁+1)≠x_a2(₂+1)のとき、s(x_a1(₁))≠s(x_a2(₂))が満たされれば、この2種類の回路は有効に働く。P,C,Sの中のパターンが独立に取られた場合、この条件が一般に満たされる。

　理論的分析とコンピュータ実験の結果が本論文で提案した各モデルがそれぞれパターン系列の符号化、自己組織及び連想記憶の役割を果たせることを確かめた。

　パターン系列の符号化及び連想記憶に関する研究が多くの研究者より行われているが、スパース符号化回路を用い、パターン系列の符号化と連想記憶を実現できることを示したことが本研究の特徴である。

　パターン系列の連想は,人間の心理活動に日常的に現れる現象である.本研究はまずこの心理現象を抽象化することによって,パターン系列の符号化及び連想記憶に関してより一般的な概念を導入することを試みた.さらに,ニューラルネットワークにおけるパターン系列の符号化,自己組織及び連想記憶に関する概念を明確にした.そして,実際の脳におけるパターン系列の符号化及び連想記憶に関する神経生理学的特徴に基づき,本研究の目標であるパターン系列の符号化ネットワーク,パターン系列の自己組織ネットワーク及びパターン系列の連想記憶ネットワークを提案した.

　本論文は,「ニューラルネットワークにおけるパターン系列の符号化,自己組織及び連想記憶」と題し,5つの章からなる.

　第1章はまず3つの具体的な例を通してパターン系列の符号化及び連想記憶に関する心理現象を抽象化し,より一般的な概念を導入した.これらの概念を簡潔に述べると,次のようになる.

　Pはパターンの集合とし,Cはcueパターンの集合,Sはstatusパターンの集合,Cdはコードのパターンの集合とする.S(P)はPの中のパターンからなるパターン系列の集合である.

　(1)C×Sの元が写像fにより,S(P)の元x(1)x(2)…x(n)に変換されることをパターン系列の想起といい,写像fをパターン系列の連想写像と呼ぶ.S×S(P)の元が写像gにより,Cdの元に変換されることをパターン系列の符号化といい,写像gをパターン系列の符号化写像と呼ぶ.

　(2)ニューラルネットワークにおけるパターン系列の符号化及び連想記憶とは,連想写像fと符号化写像gとがニューラルネットワークにより実現されることである.特に,パターン系列の符号化がニューロンの荷重ベクトルの修正により固定されることをパターン系列の自己組織という.

　他方,宮下保司らは,遅延見本合わせ生理実験により発見した現象を抽象化し,猿のパターン系列の連想記憶が持つ神経生理学的特徴をニューラルネットワークの用語で次のように述べた.

　(1)刺激パターンの内部表現がスパースである.

　(2)刺激パターンの時間的相関関係が内部表現の空間的相関関係に変換される.

　この2つの特徴は,本論文でパターン系列の符号化,自己組織及び連想記憶を実現するニューラルネットワークを提案するのに重要な役割を果たした.

　第2章では空間的スパース符号化ネットワークのダイナミクスを調べた.この符号化ネットワークは2次元のneural arrayである.ただし,各ニューロンは自己への正のフィードバックを持っており,隣接したニューロンとは相互抑制性結合を持っている.このようなネットワークに入力パターンを与えると,出力が一種の空間的スパース興奮パターンに収束する.このスパース興奮パターンを入力パターンの内部表現と呼ぶ.本章はこの空間的スパース興奮パターンに収束するための十分条件を与えた.

　第3章ではパターンの符号化ネットワーク,基本的なパターン系列の符号化ネットワーク及び改良したパターン系列の符号化ネットワークを提案し,それらの符号化能力の評価を試みた.

　パターンと基本的なパターン系列の符号化ネットワークは第2章で提案した空間的スパース符号化ネットワークにしきい値を導入するものである.このようなネットワークに入力パターンを与えると,出力が空間的スパース興奮パターンになるが,入力が消えると,もともとしきい値の大きいニューロンは興奮しなくなり,しきい値の小さいものは興奮が消えず,新たな入力パターンに対しても興奮を維持する.そこで,この残留興奮により,提示順番で隣り合った2つの入力パターンの内部表現が高い空間的相関関係を持つようになる.従って,パターン系列の各パターンを順次スパース符号化ネットワークに与えると,最終的な内部表現には系列中の各パターンの残留興奮が含まれている.ゆえに,この内部表現はパターン系列の各パターンの情報を含んでおり,このパターン系列のコードとみなしてもよい.これがパターン系列の符号化の基本原理である.

　第4章ではパターン及びパターン系列の自己組織モデルを提案し,自己組織アルゴリズムの収束性を調べた.本章で提案したパターンの自己組織ネットワークはAmari-Takeuchiモデルの改良型とみなせるが,次の特徴を持っている.すなわち,ネットワークの荷重ベクトルの初期値によらず,各ニューロンが環境パターンの検出細胞に収束する.相互抑制性結合を導入すれば,検出細胞の数の不釣合いが大幅に改善される.このネットワークが各パターン系列のコードに対してのみ荷重ベクトルの修正を行なえば,各パターン系列の検出細胞が形成される.従って,パターン系列の符号化ネットワークとパターンの自己組織ネットワークを組み合わせるとパターン系列の自己組織ネットワークが出来上がる.

　第5章ではパターン系列の連想記憶ネットワークを提案した.パターン系列の連想記憶ネットワークには2種類の構造がある.

　構造1は2つの結合行列W1とW2を持っている.想起プロセスは次のように行なわれる.まず,cueパターンとstatusパターンの対がW1により内部表現に変換される.この内部表現がW2によりパターン系列の1番目のパターンに,また,W1により1番目のパターンの内部表現に各々変換される.このくり返しにより,パターン系列が次々と想起される.

　構造2は2次元のneural arrayと結合行列W1を持っている.想起プロセスは次のように行なわれる.まず,cueパターンとstatusパターンの対がneural arrayにより内部表現に符号化され,さらにW1により1番目のパターンに変換される.そして,この1番目のパターンがフィードバックにより,neural arrayに与えられ,1番目のパターンの内部表現に変換され,さらにW1により2番目のパターンに変換される.このくり返しにより,パクーン系列の各パターンが次々と想起される.

　この2種類のモデルによって,共通なパターンを持つ2つのパターン系列の連想記憶を実現することが可能となり,従来の連想記憶ネットワークの弱点が克服された.

　以上を要するに,本論文は空間的スパース符号化ネットワークを用い,パターン系列の符号化,自己組織さらには連想記憶を実現できることを示したものである.これは数理工学上貢献するところが大きい.

　よって本論文は東京大学大学院工学系研究科計数工学専攻における博士(工学)の学位請求論文として合格と認められる.