No | 214672 | |
著者(漢字) | 徳田,功 | |
著者(英字) | ||
著者(カナ) | トクダ,イサオ | |
標題(和) | カオス的ダイナミクスのニューラル情報処理への応用 | |
標題(洋) | Application of Chaotic Dynamics to Neural Information Processing | |
報告番号 | 214672 | |
報告番号 | 乙14672 | |
学位授与日 | 2000.04.13 | |
学位種別 | 論文博士 | |
学位種類 | 博士(工学) | |
学位記番号 | 第14672号 | |
研究科 | 工学系研究科 | |
専攻 | 計数工学専攻 | |
論文審査委員 | ||
内容要旨 | 「脳の世紀」と呼ばれる21世紀に向けて、ニューラル情報処理に関する研究が近年益々活発化している。特に、単一ニューロンレベルからネットワークレベルに至るまでの様々の脳神経系レベルで、カオス的ダイナミクスが生理実験的に観測されることが最近の結果から分かり、脳におけるカオスの機能について精力的な研究議論が展開されている。小数自由度の単純な決定論的力学系から生成される複雑で豊かなカオス的ダイナミクスは、工学においても「単純なデバイスで複雑な機能」を実現する次世代技術として脚光を浴びている。このような研究背景から、本学位論文は、カオス的ダイナミクスを導入することによって実現されるニューラル情報処理の新しい工学的応用可能性を究明することを目的とする。 1980年代のニューラルネットワーク研究において、「バックプロパゲーション学習」および「疑似勾配型(ホップフィールド型)ニューラルネットワーク」の二つのパラダイムが出現したことを契機に、ニューラル情報処理システムは、脳神経系の情報処理モデルとしてだけでなく、システムモデリング、システム同定、最適化問題等の様々の工学問題に応用されるようになった。これらの工学型ニューラルネットワークにカオス的ダイナミクスを導入することを考える。 カオス的ダイナミクスは力学系に埋め込まれた無限個の不安定周期軌道の間を順次徘徊する複雑で豊かな挙動を呈示し、ニューラルネットワークの学習能力および情報検索能力を飛躍的に高める作用をもたらす。特に、システム同定間題では、カオス的力学系の係数族同定を可能とし、最適化問題では、カオスの非平衡ダイナミクスによりニューラルネットワークの最適解探索能力を大幅に向上させることを示す。これらはニューラルネットワークがカオス的ダイナミクスを発現することによってはじめて可能となる工学応用であり、カオスがニューラル情報処理システムの応用可能性を飛躍的に拡張出来ることを示している。これは実際の脳神経系においてもカオスが同様の機能により脳神経系の情報処理能力を高める可能性を示唆するものであり、脳神経系モデルとしても意義深いと考えられる。 本論文は全8章よりなる。まず、第1章では、研究背景および研究動機について述べる。 第2章では、カオス的ダイナミクスのニューラルネットワークによるモデリングについて扱い、特に、遅延を含む無限次元型ニューラルネットワークにおけるカオスのモデリング能力について解析する。第3章および第4章では、ニューラルネットワークによるカオス的ダイナミクスのモデリング手法を力学系の係数族同定問題に拡張し、カオス時系列の認識および非定常カオス時系列のスイッチ点検出に応用出来ることを示す。 第5-7章では、カオスニューラルネットワークによる最適化問題の解法について取り上げる。特に、カオスニューラルネットワークの大域的分岐構造を詳細に解析することにより、最適化問題を解くカオスニューラルネットワークの大域的分岐のシナリオを提案し、局所解に捕らわれずに最適解を探索するカオスニューラルネットワークの力学構造を明確にする。また、大域的分岐のシナリオに基づいて、カオスの非平衡ダイナミクスを序々に緩和して最適な平衡解を得るカオス的シミュレーテッド・アニーリングの従来型アルゴリズムの問題点を指摘し、改善手法として、適応的アルゴリズムおよび学習アルゴリズムを提案する。 第8章では、本論文で得られた結果を総括し、ニューラル情報処理システムにおけるカオス的ダイナミクスの機能について議論する。また、本論文で得られた結果の具体的な工学的応用と今後の課題について述べる。 最後に参考文献と謝辞、付録として数学的基礎事項、本論文を構成する主論文および参考論文を記す。 | |
審査要旨 | 「脳の世紀」と呼ばれる21世紀に向けて、ニューラル情報処理に関する研究が近年益々活発化している。特に、脳神経系の様々のレベルで、カオス的ダイナミクスが生理実験的に観測されることが分かり、脳におけるカオスの機能について関心が高まっている。小数自由度の単純な決定論的力学系から生成される複雑で豊かなカオス的ダイナミクスは、工学においても「単純なデバイスで複雑な機能」を実現する次世代技術として脚光を浴びている。このような研究背景から、本論文は、カオス的ダイナミクスを導入することによって実現されるニューラル情報処理の新しい工学的応用可能性を究明している。本論文は、“Application of Chaotic Dynamics to Neural Information Processsing”(和文題目「カオス的ダイナミクスのニューラル情報処理への応用」)と題し、8章より成る。 第1章は、本論文の研究背景と目的について述べている。 第2章は、遅延を含む連続時間型ニューラルネットワークによるカオスの学習について調べている。遅延はニューラルネットワークのダイナミクスを無限次元に拡張し、ニューロンの学習能力を向上させる。このために隠れユニットを含まない小規模の遅延型ニューラルネットワークで高次元の複雑なカオス的ダイナミクスが容易に学習できることが示されている。 第3章は、ニューラルネットワークによるカオスの学習手法を、「時系列データからの力学系の係数族同定問題」に拡張している。1)ニューラルネットワークによるカオス時系列の学習と2)学習係数の主成分分析、の2つのステップから構成される単純なアルゴリズムで、オリジナル系と定性的に等価な分岐構造を持つ力学系の係数族が構成できることを示している。このアルゴリズムは時系列がカオス的である場合にのみ有効であり、カオスがニューラルネットワークの学習能力を向上させることを示している。 第4章は、3章の係数族同定法を非定常カオス時系列の解析に応用している。観測中にシステムの分岐係数値が異なる値の間をスイッチするような非定常カオス時系列に対してスイッチ点を自動検出するアルゴリズムを提案し、数値実験を通してアルゴリズムの有効性を示している。力.オス時系列の非定常性解析については近年活発に研究が行なわれているが、本章はカオス時系列の背後に存在する分岐係数値を推定し、その変化を検出するユニークな方法を与えている。 第5章は、組合せ最適化問題を解くカオスニューラルネットワークの分岐構造を解析し、その最適化能力について検討している。特に、カオスニューラルネットワークの大域的分岐構造を詳細に解析することにより大域的分岐のシナリオを提案し、局所解に捕らわれずに最適解を探索するカオスニューラルネットワークの力学構造を明確にしている。 第6章は、前章の大域的分岐のシナリオに基づいて、カオスの非平衡ダイナミクスを序々に緩和して近似的な平衡解を得るカオス的シミュレーテッド・アニーリングの力学的性質について解析している。特に、カオス的シミュレーテッド・アニーリングで得られる平衡解はカオスニューラルネットワークの大域的分岐構造に依存して決まっており、必ずしも最適解が得られるとは限らないことを示し、従来型アルゴリズムの改善手法として、適応的アルゴリズムおよび学習アルゴリズムを提案している。 第7章は、非線形関数の最適化問題についても5,6章と同様の議論が可能であことを数値実験を通して示し、5,6章のアイデアが組合せ最適化問題だけでなく一般の非線形最適化問題においても有効であることを主張している。 第8章は、本論文で得られた結果を総括し、本論文で得られた結果の具体的な工学への応用例と今後の課題について述べている。 以上を要するに、本論文はカオス的ダイナミクスを導入することによって可能となるニューラル情報処理システムを理論的に解析するとともにその工学応用について様々の具体例を挙げ、カオスの可能な機能を明確にしたものであり、数理工学上貢献するところが大きい。よって本論文は東京大学大学院工学系研究科計数工学専攻における博士(工学)の学位請求論文として合格と認められる。 | |
UTokyo Repositoryリンク | http://hdl.handle.net/2261/42809 |