生体の神経回路網の仕組みや働きをモデル化して人工的に作り上げた神経回路網モデルを以下ニューラルネットワークと呼ぶことにする。ニューラルネットワークの構造で代表的なものは多層構造型ニューラルネットワークと相互結合型ニューラルネットワークである。多層構造型ニューラルネットワークは入力層、中間層、出力層から構成され、学習アルゴリズムにはバックプロパゲーション(誤差逆伝播学習)がよく用いられる。バックプロパゲーションでは入力信号とそれに対応する教師信号の学習セットを用意し、入力信号に対するニューラルネットワークの出力信号が教師信号に近づくようにニューロン間の接続線の重みを修正していく。

　バックプロパゲーションを用いた多層構造型ニューラルネットワークの学習法については、(1)入力信号・出力教師信号の選択および提示法、(2)中間層のニューロン数を最適化する方法、(3)初期値を設定する方法などの研究が継続的に行われている。(1)の「学習能力を有するニューラルネットワークに、どのような入力信号、出力教師信号を、どのようにコード化して提示するか」というテーマは、応用に際して重要な研究テーマである。

　ニューラルネットワークの応用分野はパターン認識、予測、制御など多岐にわたっている。最近では、非線形な入出力関係を学習できるというニューラルネットワークの性質を生かして、実世界の予測問題である経済予測(株価予測、為替レート予測など)への応用研究が盛んに行われている。本論文では、これらの状況を踏まえ、バックプロパゲーションを用いた多層構造型ニューラルネットワーク(BPNN)への教師信号と学習セットの提示法を提案することと、実世界の予測問題に適用することを目的とする。

　本研究の第一の目的は、部分特徴入力に適した教師信号の提示法を提案することである。BPNNをパターン認識問題に適用する場合、従来の学習法では、正解クラスに対応する出力層のニューロンには「1」、その他のクラスに対応するニューロンには「0」という断定的な教師信号を与えていた。この教師信号をクラス間で重なりのある部分特徴を入力としたパターン認識問題に適用すると、重なった部分において、よく似た入力パターンに対して全く異なる教師信号を与えることになり正解クラスの出力値を十分大きくできない場合が生じる。複数の部分特徴を複数のBPNNに個別に入力し各BPNNの出力を統合してパターン認識させる手法において、ある入力パターンの部分特徴1と部分特徴2がそれぞれ他のクラスによく似ている場合には、正解クラスの統合値をクラス間で最大にできない。そこで、入力パターンの類似性に応じて教師信号を修正する(互いに類似したクラスの教師値を大きくする)ことで、正解クラスの出力値および統合値が大きくなるようにする。

　提案法では、クラスAに所属する入力パターンがクラスBに誤認識されたとき、クラスBに所属するすべての入力パターンの教師信号のうちクラスAに対応する教師値を大きくする。この修正によりクラスBのパターンを入力したときクラスAの出力値を大きくするように学習できるので、クラスBによく似たクラスAのパターンを入力したときクラスA(正解クラス)の出力値を大きくできる。提案法は、複数の部分特徴を複数のBPNNに個別に入力し、各部分特徴で互いに類似のクラスが異なるとき有効である。これは、各部分特徴を入力したBPNNの出力値が単独では1位にならなくても、負ける相手(類似クラス)が異なれば、加算値で1位になる可能性があるためである。

　提案法を、2次元正規分布データから成る2つの部分特徴を用いたクラス分類問題(4クラス、10クラス、20クラス)と、手書き数字から抽出した2つの部分特徴を用いたパターン認識問題(10クラス)に適用したとき、テストデータの認識率が向上した。

　本研究の第二の目的は、クラス間で重なりがなくノイズデータを含まないパターン認識問題を対象として、学習誤差の分散を小さくし学習時間を短縮するような学習セットの提示法を提案することである。一般的に言って、すべての学習パターンが同じ速度で学習されていくとはかぎらず、比較的速く学習され2乗誤差が速やかに小さくなっていくパターンと、なかなか学習が進まず2乗誤差が速やかに小さくならないパターンに分かれる。どの学習パターンも同じように重要な場合には、すべてのパターンを十分に学習させる必要があるために、従来の均等提示学習(すべての学習パターンをBPNNに均等に同じ回数だけ提示)では学習時間が長くなるという問題が生じる。そこで、学習進捗のばらつきが小さくなるように選択的に提示して学習を進めることが、学習時間の短縮に有効であるものと考える。

　第一の提案法(段階的誤差監視)では、学習途上の誤差を監視して学習制御するために複数のマイルストーンを設け、各段階で学習の遅れているパターンを多く提示する。これにより、2乗誤差の減り方に関して偏りの少ない学習を実現でき、学習時間を短縮できる。第二の提案法(クロス・テスト)では、学習セットの部分集合を学習したBPNNで、未学習の部分集合をテストすることにより少数パターン(学習セットに比較的少なく含まれる特徴パターン)を検出する。少数パターンは出現頻度が小さいので学習速度が遅い。少数パターンを多く提示することで少数パターンの学習速度を上げ学習の偏りを少なくする。2つの提案法は、学習パターンを100%分類でき、特徴空間で学習パターンが広く分布しているときに有効である。これは、同じクラスの学習パターンが比較的狭い範囲に分布している場合には少数パターンがないので、従来法でも学習の偏りが少なく十分速く学習できるためである。

　提案法を、2次元正規分布データを用いた4クラス分類問題と、手書き数字のメッシュ特徴を用いたパターン認識問題に適用したとき、学習2乗誤差の分散が小さくなり学習時間が短縮した。その際、提案法により認識能力が低下しないことを確認した。

　本研究の第三の目的は、変動予測に適した学習セットの提示法と学習停止条件を提案し、実世界の予測問題に適用することである。BPNNを用いた従来の予測法では、予測対象時系列の変動の大きさによらずすべての学習データを均等にBPNNに提示していた。また、各学習データに与える学習係数も同一だった。また、過学習を防ぐために、訓練データを学習データと検証データとに分け、学習データを用いてBPNNの学習を進め、検証データにおける平均誤差が最小となる時点で学習を停止していた。

　一般的に言って、大きな変動が次の操作を決定する要因となるので、小さな変動よりも大きな変動を正確に予測できることの方が有用である。従来法のように、小さな変動に対応する学習データと、大きな変動に対応する学習データを同じ回数だけ提示すると、小さな変動も正確に学習しようとするために大きな変動を効果的に学習できないと考える。また、予測問題に応用する場合にBPNNに求められる目的関数は必ずしも平均予測誤差を最小にすることではない。予測値に基づく操作による効果を最大にすることの方が重要である(例えば、株式売買に応用する場合には、予測値を用いた売買操作による予測利益を最大にすることの方が重要である)。そこで、大きな変動を選択的に強調して学習させる方法と、平均誤差最小以外の学習停止条件を提案する。

　選択的提示法では、大きな変動に対応する学習データを提示する回数を増大し、選択的学習係数法では、大きな変動に対応する学習データの学習係数を比較的大きくする。またこれらの方法を併用することで、きめ細かな選択的強調学習を実現できる。さらに、平均誤差最小以外の学習停止条件として、検証期間において、予測値に基づく操作の効果が最大となる時点で学習を停止する方法を提案する。

　提案法では、大きな変動に対応する学習データを選択的に強調して学習するので、学習期間の予測効果(大きな変動の予測に基づく操作による効果)を向上できる。これにより、テスト期間での予測効果の向上も期待できる。提案法を東証株価指数(TOPIX)の変動予測問題に適用して評価した。入力データとして、複数の経済指標のほかに、株価変動に影響を及ぼすイベント知識も考慮した。評価実験の結果、大きな変動に対応するデータを選択的に強調して学習させ、予測値に基づく株式売買シミュレーションによる予測効果が最大の時点で学習を停止することで、大きな変動データの学習誤差を小さくし、学習期間での予測効果とテスト期間での予測効果を増大できた。