従来の情報処理は閉鎖型システムに力点が置かれている.すなわち,問題の領域を定義し,切り取り,抽象化することにより問題を扱うことが一般的である.一方,実世界の問題,例えば社会,経済現象や生命の問題は定義しきれない要素や切り取ることのできない問題領域を含んでいる.また,広域分散,移動コンピューティング環境やマルチメディア環境では,利用環境が時々刻々と変化している中で安定した性能を供給する必要がある.このような状況を考え本研究の目的は,学習過程における部分的な情報を基に有効な処理を行うシステムの実現およびこのようなシステム実現に有効と思われる技術の開発を行うことにある.ここでは,近年,実用上の準最適解を速やかに得ることのできる適応範囲の広い探索アルゴリズムとして注目されている進化的計算に着目し,その動的問題への適用法と応用に関する基礎的な検討を行う.特に,進化的計算とニューラルネットワークの融合によるアプローチを中心に論じる.これは表1.1に示すように,進化的計算とニューラルネットワークをうまく融合することができれば,それぞれの弱点を補いあう効果的な探索を行える可能性があると考えるからである.すなわち,初期値依存性が比較的少なく,かつ,局所解の近傍に素早く収束する進化的計算の利点と,非線形問題や時系列問題に有効なニューラルネットワークの利点を統合した強力な探索モデルを実現する可能性があると考えるためである.

表1.1進化的計算とニューラルネットワークの比較

　第1に,進化的計算自体が新しい技術であるため,現状の技術に関する整理を行う.すなわち,進化的計算の概説を行うとともに,進化的計算を用いたフィードフォワード型ニューラルネットワークの合成およびリカレント型ニューラルネットワークの合成に関する従来技術に関してまとめる.進化的計算をニューラルネットワークに適用する場合,以下に示す4種類のアプローチが考えられる.第1の方法は,ニューラルネットワークの構造は人間があらかじめ与え,ニューロン間の結合荷重値の学習に対して進化的計算を用いる方法である.第2の方法は,ニューラルネットワークの学習アルゴリズムは人間が与え,進化的計算によってニューラルネットワークの構造を決定する方式である.第3の方法は,ニューロン間の結合荷重値の学習に対して進化的計算とBP(Back Propagation)などの学習アルゴリズムとのハイブリッド化を考える方法である.そして第4の方法は,ニューラルネットワークの構造決定と各ニューロン間の結合荷重値の大きさの学習の両方に対して進化的計算を適用する方法である.ここでは,進化的計算をニューラルネットワークに適用する場合の,これら4種類の方法の代表的な研究例を紹介する.また,従来の方法の問題点について示す.

　第2に,ニューラルネットワークの合成に有効と思われる,表現型レベルで遺伝的操作を施す手法について述べる.すなわち,ニューラルネットワーク自体を2次元の染色体と考え,ニューラルネットワーク上の2次元部分構造に着目した交差を提案する.これは,進化的計算をニューラルネットワークに適用する従来手法が,基本的に1次元染色体上でのランダムな位置での交差を仮定しているために,ニューラルネットワーク上の2次元スキーマ(schema)を交差で破壊する確率が高いと考えるからである.すなわち,進化的計算では交差によりスキーマと呼ばれる部分構造を的確に組み合わせて効率的な探索を実現する可能性を有するが,このような部分構造は染色体の表現形式と交差の単位に依存することが多く,進化的計算をニューラルネットワークに適用する場合に効果的な染色体の表現形式と交差の単位の検討が重要と考えるためである.また,1次元染色体上で標準的な遺伝的操作を施した場合との比較から,その有効性を示す.さらに,環境との情報のやり取りで得られる適応度に依存して,遺伝的操作の並列度を動的に変化させるアイデアおよびSIMD(Single Instruction stream and Multiple Data stream)型並列計算機上への実装案について簡単に述べる.実世界を対象としたシステムでは,環境変化に依存して適応度が常に変化しているとみなすことができる.すなわち,ここで提案する適応度に依存して遺伝的操作の並列度を動的に変化させる手法は,環境変化に依存して遺伝的操作の並列度を動的に変化させる手法の提案と捉えることもできる.

　第3に,行動を決定するために十分な情報が予め得られない状況下での自律適応システム行動制御を考える.実世界における多くの問題では,適応システムや機械学習で必要となる試行回数や学習時間が十分に与えられるとは限らず,したがって,学習過程における部分的な情報を基に有効な行動を行う必要があると考えるからである.ここでは,このような部分的な情報を基に有効な行動を必要とする問題に対して,2つのリカレント型ニューラルネットワークが相互作用を持ちながら学習を行うモデル(先読みモデル)を提案するとともに,このモデルの学習に進化的計算を適用する基礎的な実験について述べる.進化的計算を用いたリカレントニューラルネットワークの合成自体が,世界的に見ても,まだ始まったばかりの段階である.したがって,2つのリカレントニューラルネットワークが相互作用を持ちながら学習を行うモデルに進化的計算を適用することは今までにない新しい試みと考える.結果として,行動を決定するために十分な情報が予め得られない状況下での行動制御を対象として,先読みモデルの有効性を示すことができたと考える.また,最適解が確率的に変化する離散空間上の動的問題を対象とする場合,単純に進化的計算をClassifier Systemとして適用するよりも,進化的計算とニューラルネットワークの融合により学習が効果的に行える可能性があることを示す.

　第4に,動的で複雑な問題の一例としてカオスダイナミックスの学習を取り上げ,すでに著者らが開発した専用のニューロコンピュータ上に実装した高速シミュレータによる学習と進化的計算により生成したリカレント型ニューラルネットワークによる学習の比較を行う.教師信号として用いたローレンツ軌道は常にカオス的に変化し続ける非周期軌道である.したがって,教師信号の波形そのものの学習が完了することはない.ストレンジアトラクタを形成するというカオスの隠れた特徴の学習を試みる.結果として,動的で複雑な問題を対象とするリカレントニューラルネットワーク生成への進化的計算の適用可能性を実証し,自律適応システムの行動制御を考える上で有効な実験結果を示すことができたと考える.また,付録として,大規模リカレントニューラルネットワークを高速に学習するために開発した高速シミュレータシステムについて述べる.進化的計算を用いてニューラルネットワークを合成するというソフト的なアプローチとともに,ニューロコンピュータや超並列計算機などの力を借りたハード的なアプローチにより動的かつ複雑な問題解決に取り組むことも重要と考えられること,また,動的かつ複雑な問題を対象として進化的計算の有効性を探る際の比較実験とすることが目的である.すでに著者らが開発した専用のニューロコンピュータ上に実装したために,SUN Sparc10などのワークステーション上のソフトシミュレータと比較して数10〜100倍程度の高速学習が可能である.学習アルゴリズムは高速性を考慮してBPTT(Back Propagation Through Time)アルゴリズムを採用した.最大512物理ニューロンまで対応可能である.

　最後に,実世界における動的問題の応用例として音声情報処理を取り上げ,進化的計算の適応能力を探る基礎的な実験を行う.声質変換に関する研究はすでに幾つか報告されているが,「明瞭な」などの限られた感性表現後を目的とする変換に関して定性的な変換ルールが分かっている程度である.すなわち,任意の感性表現語に対して具体的にどのような値に韻律情報の変換を行うかは全く不明であり,その設定は試行錯誤による困難な作業である.ここでは,従来研究から特に明示的なルールが得られず,かつ,動的な情報処理である声質変換を取り上げ,進化的計算の適用方法を示すとともに,ピッチ(声の高低情報),パワー,時間構造などの韻律情報を進化的計算を用いて変換することにより,声質の変換が自然に行える可能性があることを示す.

　これらの研究成果により,動的で複雑な問題を対象とした進化的計算の適用可能性を実証し,動的な問題の応用拡大を考える上で有効な結果を示すことができたと考える.また,これらの技術は,今後飛躍的な発展が予想されるマルチメディア技術の柔軟なユーザインタフェース実現にも応用することができると考える.例えば,ユーザ自身が自分の好みの声質に調整可能な音声ユーザインタフェースを持つマルチメディアパソコンなどに応用することができると考えられる.

　本論文は「進化的計算の動的問題への適用法とその応用に関する研究」と題し、7章により構成されている.

　第1章は「序論」であり、本研究の背景と動機、研究の目的、および論文の構成について述べている。すなわち、従来の閉鎖型システムの限界から開放型システム実現の必要性を説き、学習過程における部分的な情報を基に有効な処理を行うシステム実現に有効と思われる技術開発を目的とすること、準最適解を速やかに得ることのできる適応範囲の広い探索法として注目されている進化的計算に着目し、その動的問題への適用法と応用に関する研究を行うことを述べている。また、本論文の各章の概要と研究の意義について述べている。

　第2章は「進化的計算を用いたニューラルネットワーク合成に関する従来手法」と題し、現状の技術に関する整理を行っている。すなわち、進化的計算の概要、進化的計算を用いたフィードフォワード型ニューラルネットワーク合成、およびリカレント型ニューラルネットワークの合成に関する従来技術に関してまとめている。また、従来の方法の問題点を示している。

　題3章は「表現型レベルの遺伝的操作を用いたニューラルネットワークの合成」と題し、ニューラルネットワークの合成に有効と思われる表現型レベルで、遺伝的操作を施す手法について述べている。ニューラルネットワーク自体を二次元の染色体と考え、ニューラルネットワーク上の二次元部分構造に着目した交差を提案している。これは、進化的計算をニューラルネットワークに適用する従来手法が、基本的に一次元染色体上でのランダムな位置での交差を仮定しているために、ニューラルネットワーク上の二次元スキーマ(schema)を交差で破壊する確率が高いためである。すなわち、進化的計算では、交差によりスキーマと呼ばれる部分構造を的確に組み合わせて、効率的な探索を実現する可能性を有するが、このような部分構造は、染色体の表現形式と交差の単位に依存することが多く、進化的計算をニューラルネットワークに適用する場合に、効果的な染色体の表現形式と交差の単位の検討が重要と考えているためである。ここでは、一次元染色体上で標準的な遺伝的操作を施した場合との比較から、その有効性を示している。

　第4章は「自律システム制御のための先読みモデルの進化的獲得」と題し、行動を決定するために十分な情報が予め得られない状況下での自律適応システム行動制御の問題を対象としている。ここでは、このような部分的な情報を基に有効な行動を必要とする問題に対して、二つのリカレント型ニューラルネットワークが、相互作用を持ちながら学習を行うモデル(先読みモデル)を提案するとともに、このモデルの学習に進化的計算を適用する基礎的な実験について述べている。この二つのリカレントニューラルネットワークが相互作用を持ちながら学習を行うモデルに進化的計算を適用することは、新しい試みである。結果として、行動を決定するために十分な情報が予め得られない状況下での行動制御を対象として、先読みモデルの有効性を示している。また、最適解が確率的に変化する離散空間上の動的問題を対象とする場合、単純に進化的計算をClassifier Systemとして適用するよりも、進化的計算とニューラルネットワークの融合により学習が効果的に行える可能性があることを示している。

　第5章は「カオスダイナミックスを用いた進化的計算の適応力評価実験」と題し、動的で複雑な問題の一例としてカオスダイナミックスの学習を取り上げ、ニューロコンピュータ上に実装した高速シミュレータによる学習と進化的計算により生成したリカレントニューラルネットワークによる学習の比較を行っている。教師信号として用いたローレンツ軌道は常にカオス的に変化し続ける非周期軌道であり、教師信号の波形そのものの学習が完了することはない。ストレンジアトラクタを形成するというカオスの隠れた特徴の学習を試みている。結果として、動的で複雑な問題を対象とするリカレントニューラルネットワーク生成への進化的計算の適用可能性を実証し、自律適応システムの行動制御を考える上で有効な実験結果を示している。また、付録として、大規模リカレントニューラルネットワークを高速学習するために開発した高速シミュレータシステムについて述べている。

　題6章は「進化的計算を用いた韻律係数フィッティングによる声質変換に関して」と題し、実世界における動的問題の応用例として音声情報処理を取り上げ、進化的計算の適応能力を探る基礎的な実験を行っている。従来、特に明示的なルールがなく、かつ動的な情報処理である声質変換を取り上げ、進化的計算の適用方法を示すとともに、ピッチ、パワー、時間構造などの韻律情報を進化的計算を用いて変換することにより、声質の変換が自然に行なえる可能性があることを示している。

　第7章は「結論」であり、本研究で得られた結論と研究成果、および今後の課題を要約して述べている。

　以上を要するに、本論文は動的で複雑な問題を対象として、リカレントなニューラルネットワークに二次元構造を持つ染色体を仮定した進化的計算を適用し、その実現可能性の実証と応用例を示したものであり、ニューラルネットワークの分野へ貢献するところが少なくない。

　よって博士(工学)の学位論文審査に合格したものと認める。