新しいニューラルネットモデル,"Max-Min伝搬ニューラルネットワーク"を提唱する.このネットワークは,線形荷重和ノードと多入力最大値検出(Max)ユニットと多入力最小値検出(Min)ユニットで構成される.ニューラルネットの分野では,最大値検出には,いわゆる"winner-takes-all"ネットワーク,あるいは"Max-select units"ネットワークを用いる.これらの方式では,最も出力値が大きいものがどのユニットであるかだけが注目される.それに対し,Max-Min伝搬ユーラルネットでは,最大(最小)値の値がMax(Min)ユニットを経由して出力へ伝えられる.本論文での議論は,次の3点に集約できる.a)どのような関数を表現できるか.また,その関数の実現にいくつの層やユニットが必要か.b)そのネットワークをどのようにして学習させるか.c)与えられた問題に対する適切なアーキテクチャをどのように構築するか,である.

　ニューラルネットの利点の一つに,関数の表現能力がある.閾値を用いた多層パーセプトロン(MLP)を使えば,全てのブール関数を表現できる.つまり,1個のセレクタセルは,入力ベクトルが重み値ベクトルと等しい場合だけユニットは1を出力し,それ以外は,0を出力する.そして,最初の層にセレクタセルをいくつか並列に並べ,出力層で"OR"セルを1つ用いたフラットネットワーク構造によって,全てのブール関数を表現できる.さらに,閾値以外の重み値が[-1,1]の2n-1個の線形ユニットと出力層に一つのMax(Min)ユニットを持つようなフラットネットワークを用いれば,[0,1]の2値を入力とし,[0,1]の連続値を出力とする関数へ一般化できる.

　しかし,セレクタ構成法では必要なユニット数が多すぎて,実用的でない.また,汎化能力に欠けるため,未知のパターンに対しては正しい出力ができない.ところが,セレクタセルがDisjunctive Normal Form(DNF:AND-ORネットワーク)中の項に対応する要素からの入力だけを受けるようにすれば,どのようなDNFもパターン数に対して比例する大きさのネットワークで表現できる.MLPはDNFを線形結合で表現できるが,DNFではMLPを線形結合として表現することはできない.MLPは重み値とバイアスが整数のMax-Min伝搬ニューラルネットワークを用いて表現できるということは,本研究の重要な結果である.さらに,このネットワークは,Max-Minサブネットワークでできた区分線形ノードを持ち,荷重和を出力とする隠れ層で構成できる.これは,連続関数近似に関するHornikの定理を満たので,4層(リニア,max,min,リニア)のMax-Min伝搬ネットは,いかなる精度でも連続関数を近似することができる.

　n個のブーリアン入力を持つ対称ブール関数では,n個の入力を入れ替えても出力は変化しない.AND,OR,XOR,n-ビットパリティなどがこれにあたる.バイアス以外の重み値が{-1,1}である2層ネットワークを用いることで,MLPはどのような対称関数をも入力数に対して線形オーダーの大きさのネットワークで表現できる.本研究では以上の結果を,出力が連続値の場合に拡張し,重み値が1か-1の3層Max-Min伝搬ニューラルネットワークにより,これらの関数が入力数に比例した規模で表現できることを示した.

　Max-Min伝搬ニューラルネットワークの学習には最急降下型アルゴリズムを適用する.そしてさらに,加速手段と興奮していないユニットの学習のためのヒューリスティックを用いる.誤差評価法として,チェビシェフノルムを用いる方法と2乗誤差を用いる方法を試みた.重み値更新則は,誤差評価法から求められる.収束判定は,各入力パターンを提示した時の各出力ユニットの誤差の最大値によって行う.典型的なネットワーク構成では,一層目の線形ユニットがMaxグループ内で競合し,最大の出力値が決定される.そして,その勝者の出力値が次の層へ伝えられ,次の層では逆に最小の出力値が選択される.どの入力パターンに対しても,ネットワークの出力はMaxグループの出力値の中で最小の値を出力している線形ユニットの出力値になる.もしネットワークの出力誤差から,勝者である線形ユニットだけが学習する.

　以上のようにして導かれた学習アルゴリズムをn-ビットパリティ問題とn-ビット多数決問題に適用した.与えられた問題,つまり入出力パターンセットに対して,Max-Min伝搬ネットの適切なアーキテクチャを見つけるために,進化論的手法を適用した.応用例として,心電図解析を試みた.具体的には,5入力16パターンの正常な心臓リズムのモデルと.10入力26パターンの正常な心室再分極モデルおよび15入力49パターンの正常な心室脱分極モデルを用いた.最初に,単純な遺伝的アルゴリズムと直接コード法の適用を試みた.染色体の最初の部分は,層の数,各層内のユニット数,各ユニット内タイプを0,1でコーディングし,次の部分には,各結合の有無を1ビットで表現し,ネットワークの結合パターンをコーディングする.最後の部分には重み値の値をコーディングする.通常の心臓リズムの問題を解くためには,337ビットの染色体が必要であり,500回の世代交代後に,解が得られた.解が得られた後,前述の最急降下学習アルゴリズムを適用すると,誤差はさらに減少した.遺伝的アルゴリズムによって発見された解をもとに学習を始めるため,これをファインチューニング学習フェーズと呼ぶ.近似誤差は1パターンにつき最大0.03となり,実用に対して十分であると考えられる.

　ネットワークの規模が大きくなると,直接コーディング法は実用的でない.そこで,Max-Min伝搬ニューラルネットワークを表現するために必要な特性を基にした,間接的コーディング法を提案する.得られた解は,どんなパターンに対しても区分線形,すなわち,入力の線形結合で表わされる.Max-Min伝搬ニューラルネットワークの動作は,各線形結合ユニットに対応する超平面の,Max(Min)オペレータによるスイッチングである.そこで,次に,モジュール化学習法を提案する,1モジュールの中には,各入力に対しF個の重みとスイッチのセットを有する.Fはファンアウトの数である.スイッチは,該当する入力がモジュールの出力に影響するかどうかで,結合の強さをWiや0に切り替える.染色体のビットストリングの最初の部分では,M個のスイッチ構成をコーディングし,2番目の部分は,F(n+1)個の重み値からなる.nは入力の数,Fはファンアウトの数である.このプロトタイプは,提案したアルゴリズムのビルディングブロックである.

　スイッチング構成はMax-Min伝搬ユニットにマッピングしなければならないため,遺伝子型をデコードすることは難しくなる.ネットワークは荷重和のユニットとMax(Min)ユニットだけからなると仮定し,マッピングには3個の基本ルールを用いた.スイッチ構成の配列からはじめ,この法則を再帰的に適用してMax-Min伝搬ニューラルネットワークを合成する.

　はじめに,この方法をブール代数の問題に適用した.XOR問題の空間上で複数の最適点を見出すために,決定論的,かつ個体が密集する部分を検出するタイプの遺伝的アルゴリズムを用いた.適合度を評価する関数に複雑さを表す項を加え,ネットワークの深さと結合数に対してペナルティを与えるようにした.この項は,最小規模ネットワークを検出するのに有効であることがわかった.

　さらに,この方法を心電図解析に適用した.その結果,ファンアウト数を2として1パターンにつき0.05の精度で解が得られた.標準的なフィードフォワード多層ニューラルネットワークと比べると,上記の2通りの学習法は近似精度の点では同程度であるが分散表現か局所表現かという点で違いがある.分散表現の場合,ネットワークのロバスト性は強化されるが,ネットワークの働きを理解することが困難になる.

　本研究の動機の一つは,ニューラルネットの内部表現を単純化し,ニューラルネットの理解を容易にすることにある.こうした研究によって,医療分野での意志決定など,人間思考の解析に対し,大きな示唆を与えるものであると考える.

　本論文は「Max-Min Propagation Neural Networks:Representation Capabilities, Learning Algorithms and Evolutionary Structuring」(Max-Min伝搬ニューラルネットワーク:表現の可能性と学習アルゴリズムと進化論的構成法)と題し,新しいニューラルネットモデル,"Max-Min伝搬ニューラルネットワーグを提唱している.論文は6章から構成されている.

　第1章は「Introduction」(序論)であり,Max-Min伝搬ニューラルネットワークについて述べている.このネットワークは,線形荷重和ノードと多入力最大値検出(Max)ユニットと多入力最小値検出(Min)ユニットで構成される.

　第2章は「Combinations of Genetic Algorithms and Neural Networks」(進化論的アルゴリズムとニューラルネットワーク)と題し,進化論的アルゴリズムの概説と,それをニューラルネットワークの学習に適用したときの得失について述べている.特に,収束が若干遅いものの,局所最適点に落ち込みづらい特長を上げている.

　第3章は[Representation Capabilities」(表現の可能性)と題し,Max-Minニューラルネットワークで多入力多出力のあらゆるブール関数が実現できること,また,その拡張として,バイナリーの多入力に対し,0から1までの範囲の実数出力が対応するような関数が任意に実現できることを示している.例として,AND,OR,XOR,n-ビットパリティなどに代表される,n個のブーリアン入力を持つ対称ブール関数,つまり,n個の入力を入れ替えても出力の変化しない関数の実現法を示し,それらが入力数に対して線形オーダーの大きさのネットワークで表現できることを証明している.また,Max-Minネットワークにより多層パーセブトロンも実現できること,さらに,任意の連続値を出力する関数を4層構造で実現できることを示した.

　第4章は「Learning」(学習)と題し,最急降下型アルゴリズムによるMax-Minニューラルネットワークの学習について論じている.誤差評価法として,チェビシェフノルムを用いる方法と2乗誤差を用いる方法を試みている.これらの学習アルゴリズムを,n-ビットパリティ問題に適用し,動作を確認している.重み値更新にチェビシェフノルムを用いた場合,2ビットパリティ問題と3ビットパリティ問題の場合に,それぞれ平均24と91回のパターン提示で誤差0に収束しているを確かめている.また2乗誤差でも,同様の結果を得ている.4ビットパリティ問題については,それぞれ4個の線形ユニットを持つ2個のMax群と,一つのMin出力からなるネットワークを用い,初期条件によってはグローバルミニマムにならないことがあったが.平均約150回の繰り返しで解を得ている.

　第5章は「Evolutionary Structuring」(進化論的構成法)と題し,Max-Minニューラルネットワークの構成に,進化論的アルゴリズムを適応した結果について述べている.特に,間接コーディング法を提案している.一般的に,Max-Minニューラルネットワークで得らる解は,どんなパターンに対しても区分線形,すなわち,入力の線形結合で表わされる.そこでこの動作を,各線形結合ユニットに対応する超平面の,Max(Min)オペレータによるスイッチングというふうに理解することができる.1ブロック内で各入力は,スイッチを経由して重み付けされる.したがって,ある特定のパターンに対し,入力が出力に影響するかどうかで,そのブロックからの結合の有無があるかどうかが決まる.進化論的アルゴリズムにおける染色体のビットストリングの最初の部分では,スイッチ構成をコーディングし,次の部分は,重み値とする.スイッチング構成はMax-Min伝搬ユニットにマッピングされるが,その際,一対一対応で回路を演繹できるようなアルゴリズムを見いだしている.このアルゴリズムを実際に適用し,XOR問題とその拡張である連続関数の実現に適用し,約50世代後に収束を見ている.また,5入力1出力の心電図による病気判定の例に適応し,最急降下法による結果と比較したところ,論理の局所性が高い解が得られたが,これは人間にとってよりわかりの良い解である.

　第6章は「結論」を述べており,本研究で得られた知見を要約している.

　以上これを要するに,本論文は計算機に載せやすく,また人間の意志決定機構に近い動作をするMax-Min伝搬ニューラルネットワークを提案し,最急降下に基づく標準的学習アルゴリズムと,進化論的構成法により構成する方法を示したもので,情報工学分野へ貢献するところ大である.

　よって本論文は博士(工学)の学位請求論文として合格と認められる.