学位論文要旨



No 120075
著者(漢字)
著者(英字) Islam Mohammad Tanvir
著者(カナ) イスラム モマハッド タンビル
標題(和) モデレテイズムに基づく新たなローカルな学習則の提案とパターン認識への応用
標題(洋) A New Local Learning Rule for Neural Networks Based on Moderatism and Its Application in Pattern Recognition
報告番号 120075
報告番号 甲20075
学位授与日 2005.03.24
学位種別 課程博士
学位種類 博士(工学)
学位記番号 博工第6017号
研究科 工学系研究科
専攻 電子工学専攻
論文審査委員 主査: 東京大学 教授 岡部,洋一
 東京大学 教授 上野,照剛
 東京大学 教授 柴田,直
 東京大学 教授 藤田,博之
 東京大学 教授 横山,明彦
 東京大学 助教授 廣瀬,明
内容要旨 要旨を表示する

 人工ニューラルネットワークは人工知能の一つの大きな分野として信号処理,パターン認識,音声解析,画像解析,医療画像処理、経済予測といった広範囲な分野に応用されている。

 ニューラルネットワークの研究は元来,人間の情報処理機構の解明を目指したものである。脳がどのように新しい物事を学習するのか,また多くの情報をどのように処理し,記憶していくのかという問題は長らく大きな疑問であった。このような問題に対するアプローチの一つは脳のモデルを作り,その振舞いをコンュータによってシミューレートすることであった。これは人工のニューラルネットワークの概念が出現した背景である。

 ニューラルネットワークの学習則の中で最も広く使われているものはパーセプトロンとバックプロパゲーションである。これらの学習則は(シナプスの伝達効率である結合荷重)を修正するのにグローバルな学習誤差を用いている。しかし,実際のニューロンにおいて,結合荷重の修正にこのようなグローバルな情報を用いているとは考えづらい。初期のニューラルネットワーク研究においてコネクショニズムと呼ばれる理論が作られた。この理論によれば,ニューラルネットワークはシンプルな素子がシナプスを介し重み付け結合により構成される。全ての情報はシナプスのみを介して伝達される。この理論によれば,処理素子であるニューロンは本来単純なものであり,わずかな局所的な情報を処理し,系の全体での情報を持たないものとされている。バックプロパゲーションにおいては,出力のニューロンはネットワークが本来出力すべき値を知っており,それに基づいた誤差を計算する。また個々のニューロンは自らの出力がグローバルな誤差に与える影響に基づき結合を修正する。しかし,コネクショニズムの観点と相反するものである。したがって、学習則としては異なる二つの解釈が存在する。

1. グローバルな学習則

2. ローカルな学習則

 1. グローバルな学習則: グローバルな学習規則では、グローバルな学習の誤差は出力ニューロンによって計算される。そして各シナプスの結合荷重は、グローバルな誤差が含む何らかの方程式によって変化される。出力ニューロンはグローバルな誤差を知ることが仮定されて、誤差情報を中間層や入力層のニューロンに教えることによってグローバル情報がニューラルネットワーク全体に伝搬されることになる。

 グローバル学習則の例:バックプロパゲーション、パーセプトロンなど。

 2. ローカルな学習則:ローカルな学習規則は、コネクショニズムの概念に相当する学習則である。ローカルな学習則では、出力ニューロンを含めてすべてのニューロンがシステムで他のところで何が起きているかを知る必要がないとされている。つまり、グローバルな誤差なども計算できない。それぞれのニューロンが自分のローカルな情報をもっていくつかの関数を計算し、結果をシナプス通して他のニューロンに教える。グローバルな誤差は外部環境によって計算されるが、それはセンサーニューロンによってニューラルネットワークに戻される。センサーニューロンも特別なニューロンでなく、ネットワークのニューロンと同じ関数をいくつか処理できる。そして、センサーニューロンからの情報はネットワーク内の各ニューロンのローカルな情報に変換される。

 ローカルな学習則の概念が以前から存在しているにもかかわらず、グローバルな誤差の情報をローカルなものに変換することが困難であり、その実例はほとんどないのが現状である。しかし、脳の情報処理メカニズムにはローカルな要素が極めて多いことも事実である。そこで,本研究の目的はパターン認識などに効率的に用いることの出来るローカルな学習則を提案することである.目的の学習則の開発をモデレテイズムという概念に注目し、それに基づくニューラルネットワークによって実施する。モデレテイズムは心理物理実験をもとに作られた仮説であり,ニューラルネットワークは外部環境からの連続的なフィードバックをもとに適切な入出力関係を作るように学習するものとする。そこで,本研究ではこのモデレテイズムに基づく新しいローカル学習則を構築し,パターン認識の問題に実装することを目指す。この新たな学習則を"Moderatism based Gradient Feedback"(MBGF)学習と呼ぶ。本論文では,計算機シミュレーションを通じてこのMBGF学習が生物学的に妥当な多層ニューラルネットワークモデルに対して効率的に学習が行えることを示す。また、バックプロパゲーションなどのようなほとんどの学習則で使われている"2-phase"の学習モデル(入力信号と誤差信号が交代で入ってくる学習モデル)でなく、本来、脳に存在しうるもう一つの学習モデルである"1-Phase"モデル(入力信号と誤差信号が同時に入ってくる学習モデル)も使用し、MBGF学習則を使ってこの両方のモデルの学習が可能であることを示す。

審査要旨 要旨を表示する

本論文は「A New Local Learning Rule for Neural Networks Based on Moderatism and Its Application in Pattern Recognition (モデレテイズムに基づく新たなローカルな学習則の提案とパターン認識への応用)」と題し、より生物的なパターン認識を意識して、外部環境から与えられる統合的な適合度のフィードバック信号のみによりパターン学習するニューラルネットワークの学習則の提案とその応用についてまとめたものであり、9 章により構成され、英文で書かれている。

 第 1 章は「Introduction and Background of Neural Networks Research」と題し、ニューラルネットワーク研究の背景と学習則の代表的なものを紹介している。

 第 2 章は「Background and Motivation of the Research」と題し、脳情報処理と connectionism の観点から、従来の多くのグロバール学習則の問題点を指摘し、それらを改善するため中庸主義 (moderatism) というニューラルネットワークと外部環境間の相互作用を重視する学習モデルに基づくローカルな学習則の必要性について述べている。さらに、本論文の構成を概観している。

 第 3 章は「Global Learning Rules」と題し、本研究で提案するローカルな学習則との比較対象として、グロバール学習則であるパーセプトロンや誤差逆伝播法について説明している。

 第 4 章は「Moderatism」と題し、中庸主義の理論的および数学的なモデルについて説明し、ループ型のニューラルネットワークによってその性質を述べている。また、パターン認識などの分野で広く応用されている多層のフィードフォーワード型ニューラルネットワークにも中庸主義のモデルが適用できることをシミュレーションによって示している。

 第 5 章は「Learning Rules Based on Moderatism」と題し、以前、中庸主義の概念に基づいて提案されたグロバールな学習則である EBWU (Error Based Weight Update) 学習則について説明し、その問題点が指摘している。そして、それらの問題点の改善を意識して、ローカルな学習則である MBGF (Moderatism Based Gradient Feedback) 学習則を数学的に導出し、その構成をアルゴリズム的に説明している。

 第 6 章は「Learning Experiments Using MBGF Learning Rule」と題し、本研究で提案されている MBGF 学習則の学習機能を調べることを目的とし、いくつかのパターン学習実験を計算機シミュレーションによって行い、MBGF 学習則による学習の妥当性を示している。また、それらの実験結果を検討し、中庸主義の概念に対応していることを示している。

 第 7 章は「Comparison of MBGF with Other Learning Algorithms」と題し、MBGF 学習則をパーセプトロンや誤差逆伝播法のような従来の学習則と比較している。これらの学習則の学習パフォーマンスを検証し、学習後の残留誤差量や学習にかかる計算時間の観点から総合的な比較結果を行なっている。

 第 8 章は「Other Learning Models for MBGF」と題し、誤差逆伝播法に代表される多くの学習則で使われている入力信号と誤差信号が交代で入ってくる学習モデルだけでなく、より生物的な入力信号と誤差信号が同時に入ってくる学習モデルについても、MBGF 学習則が適用可能であることを示している。

 第 9 章は「Discussion and Conclusion」として本論文をまとめている。

 以上を要するに本論文は、より生物学的な認識機能のモデル化を試み、中庸主義に基づく新たな学習則を提案し、パターン学習実験によって、その学習機能の有効性を示したものであり、電子工学、特にニューラルネットワークの分野に寄与するところ少なくない。

 よって本論文は博士(工学)の学位請求論文として合格と認められる。

UTokyo Repositoryリンク