学位論文要旨



No 112233
著者(漢字) 林,秀樹
著者(英字)
著者(カナ) ハヤシ,ヒデキ
標題(和) ニューラルネットワークにおける振動生成のメカニズムと自己組織化の研究
標題(洋)
報告番号 112233
報告番号 甲12233
学位授与日 1996.09.30
学位種別 課程博士
学位種類 博士(工学)
学位記番号 博工第3776号
研究科 工学系研究科
専攻 先端学際工学専攻
論文審査委員 主査: 東京大学 教授 岡部,洋一
 東京大学 教授 吉澤,修治
 東京大学 教授 原島,文雄
 東京大学 教授 桂井,誠
 東京大学 助教授 合原,一幸
 東京大学 助教授 横山,明彦
 東京大学 助教授 廣瀬,明
内容要旨

 ノイマン型コンピュータの限界が見えてきた今、一つのブレークスルーとして脳のメカニズム解明が科学的・工学的に注目されている。

 しかしながら脳の機能として明らかになっているのは、ニューロン個々に当たる素子のレベルにすぎず、ニューラルネットワーク全体の働きやその組織化の構築原理についてはまだまだ研究の緒についたばかりである。

 一方生体内には、歩行・遊泳・咀嚼など種々の振動系がみられる。これは、脳というニューラルネットワークを構築する基本的原理の一つに振動系の自己組織化があることを想起させる。

 本論文では、ニューラルネットワークの構築原理の一つに振動系の自己組織化があるのではないかという観点のもとに、ニューラルネットワークにおける振動生成メカニズムの分析と自己組織化の為の新しい学習方式である協調発振モデルを提案している。

 まず、個別ニューロンの伝達関数型モデルを導出し、制御理論的手法により、振動を生成する種々のニューラルネットワークを分析し、そのふるまいを明ら

 ニューラルネットワークの発振には、ネットワークの形状により周波数が決まってしまう固定周波数発振と可変周波数発振の2形態があることを示し、シンプルループ系(複数のニューロンが環状につながった系)が前者に、フィードバック入力付ニューロン(通常の入力の他に自分又は他ニューロンからのフィードバック入力をもつニューロン)による多重ループ系が後者にあたることを示した。特に、任意の発振周波数をもつニューラルネットワーク(多重ループ系)の生成に関し、一つ以上の共通ニューロンを通り、かつ次数の異なる2つ以上のループをもつニューラルネットワークは、シナプス荷重を変化させることで任意の周波数の発振を行わせることができることを示した。これらの結果はディジタルシミュレーションにより検証されている。

 また、ニューラルネットワークの動特性(ダイナミクス)に関し、シナプス荷重の変化に対する系の極(固有値)の挙動や感度について解析した。まず、2ループ系のニューラルネットワークについて荷重を調整することにより、系の極が(複素平面上で)与えられた任意の値をとるようにできることを示し、シナプス荷重の変化と極の移動状況を解析した。続いて、一般のニューラルネットワークについて特性方程式及び、個々のシナプス荷重に対する固有値の感度の一般式を導出し、4次系ネットの2重発振現象などの代表的なネットワークのシミュレーションで検証している。

 次にニューラルネットワークの振動系の新しい自己組織化原理:"協調発振モデル"を提案している。

 協調発振モデルは、"個々のニューロンは入出力共に、もっとも都合のよい平均値(直流分)と変動レベル(振幅)と変動の速さ(周波数)を好む"という考え方のもとに、"個々のニューロンが固有周波数をニューラルネットワーク内の他ニューロンとのinteractionにより適応させていくことにより発振系が自己組織化される"というものである。

 本学習法は、教師なし・フィードバック学習であるモデレーショニズム学習法に属するもので、しかも自分の入出力情報のみを用いる完全にローカルな学習であり、自己組織化に適した学習則である。ローカル化は、ニューラルネッ程式と呼ぶ拘束条件によりなされ、しかも学習の中でシナプス荷重に対する極の感度も考慮し得るものである。本手法を幾つかの系に適用し、モデレートな周波数・振幅・直流成分をもった固定周波数や可変周波数の振動系が自己組織化されることをシミュレーションにより確かめた。

 最後に、協調発振モデル法をより高度・複雑なニューラルネットワークに適用している。複数のニューラルネットワークの結合された系で協調発振モデル法を適用すると、学習したニューロンに関係する極が左半面から虚軸に近づき、逆に同一ループに属する他の極は離れるような効果があり、結局、独立なループが幾つかある時多重発振系が形成されていく。これは高次の系に本学習法を適用することにより多重発振や外界に応じた複数のリズム周波数をもつネットワークの構築可能性を示したものであり、生体における複雑な発振系の組織化の可能性を示すものとして興味深い。

 得られた学習法は、

 1)criticや報酬、罰という特殊な信号を一切使わず、また教師も不要、というモデレーショニズムの特性を保持するとともに、これまでモデレーショニズムの欠点とされていた多層ネットワークにも適用が可能で

 2)振動の振幅や直流分のみならず周波数も予め定められたモデレート値に近づけ得る学習法

 であり、生体内の部位毎に異なる一定レベルの周波数発振により近い形と言える。

 しかも、

 3)個々のニューロンが全て同じ一つの原理(外界との調和)に基づいて、同様に個々の入出力情報のみを使って、自己のシナプス荷重などを変化させていくという完全にローカルな学習

 であり、ある意味で普遍的な脳の構築原理の一つの可能性を連想させ得るものである。

審査要旨

 本論文は「ニューラルネットワークにおける振動生成のメカニズム自己組織化の研究」と題し,6章により構成されている.

 第1章は「序論」であり,本研究の背景と目的,および概要と意義について述べている.ニューラルネットワークの研究の現在までのあらましと,生体の自律振動系の存在にふれ,さらに,脳のモデリングの立場からニューラルネットワーク構築の基本的原理としてローカルな学習による振動系の自己組織化をテーマとすることを述べている.また,本論文の各章の概要と研究の意義について述べている.

 第2章は「振動を生成するニューラルネットワーク」と題し,個別ニューロンの伝達関数型モデルを導出し,制御理論的手法により振動を生成する種々のニューラルネットワークを分析し,その振る舞いをあきらかにしている.ニューラルネットワークの発振には,ネットワークの形により周波数が決まってしまう固定周波発振と可変周波発振の二形態があることを示し,複数のニューロンが環状につながった単純ループ系が前者に対応し,通常の入力の他に自分または他ニューロンからのフィードバック入力をもつニューロンを基本とした多重ループ系が後者にあたることを示している.この2種類の発振形態は,第4章の学習方式のところで再び特徴的な2種類のモードとなってあらわれてくることは興味深い.特に,任意の発振周波数をもつ多重ループ系ニューラルネットワークの生成に関し,一つ以上の共通ニューロンを通り,かつ次数の異なる2つ以上のループをもつニューラルネットワークは,シナプス荷重を変化させることで任意の周波数の発振を行わせることができることを示している.これらの結果はディジタルシミュレーションにより検証されている.

 第3章は「ニューラルネットワークの動特性」と題し,定常発振だけでなく一般の動特性を扱っている.シナプス荷重の変化に対するニューラルネットワーク系の極の挙動や感度について解析している.まず,2ループ系のネットワークについて荷重を調整することにより,系の極が複素平面上で与えられた任意の値をとるようにできることを示し,シナプス荷重の変化と極の移動状況を解析している.続いて,一般のニューラルネットワークについて特性方程式及び,個々のシナプス荷重に対する固有値の感度の一般式を導出し,4次系ネットワークの二重発振現象や6次系ネットワークの三重発振現象などの代表的なネットワークのシミュレーションで検証している.

 第4章は「協調発振モデルによる振動系の自己組織化と学習」と題し,本研究の主テーマである学習によるニューラルネットワークの振動系の新しい自己組織化原理:"協調発振モデル"について提案している.協調発振モデルは,"個々のニューロンは,入出力共にもっとも都合のよい平均値(直流分)と変動レベル(振幅)と変動の速さ(周波数)を好む"という考え方のもとに,"個々のニューロンが固有周波数をニューラルネットワーク内の他ニューロンとのやりとりにより適応させていくことにより発振系が自己組織化される"というものである.本学習法は,教師なしフィードバック学習であるモデレーショニズム学習法に属するもので,しかも自分の入出力情報のみを用いる完全にローカルな学習であり,自己組織化に適した学習則である.これによりモデレートな周波数・振幅・直流成分をもつ自励持続振動が自動形成されるものである.ローカル化は,ニューラルネットワークの発振条件を個々のニューロンベースから等価的に記述した「発振方程式」と呼ぶ拘束条件によりなされ,しかも学習の中でシナプス荷重に対する極の感度も考慮し得るものである.本手法を幾つかの系に適用し,モデレートな周波数・振幅・直流成分をもった固定周波数や可変周波数の振動系が自己組織化されることをシミュレーションにより確かめている.

 第5章は「より高度・複雑なニューラルネットワークの自己組織化と学習」と題し,協調発振モデル法を,より高度・複雑なニューラルネットワークに適用したケースにつき理論を展開している.複数のニューラルネットワークの結合された系で協調発振モデル法を適用すると,学習したニューロンに関係する極が左半面から虚軸に近づき,逆に同一ループに属する他の極は離れるような効果があり,結局,独立なループが幾つかある時多重発振系が形成されていく.これは高次の系に本学習法を適用することにより多重発振や外界に応じた複数のリズム周波数をもつネットワークの構築可能性示したもの12あり,生体における複雑な発振系の組織化の可能性を示すものとして興味深い.

 第6章は「結論」であり,本研究で得られた結論と研究成果を要約して述べている.

 以上を要するに,本論文はニューラルネットワークにおける振動生成メカニズムを,主として制御論的手法により研究し,安定なリズムを自己組織化により獲得する学習モデルを提案したものであり,ニューラルネットワークの分野へ貢献するところが少なくない.

 よって著者は東京大学大学院工学系研究科における博士(工学)の学位論文審査に合格したものと認める.

UTokyo Repositoryリンク