1986年にRumelhartらによって提案された階層型ニューラルネットワークの誤差逆伝播学習法(Back-Propagation)は,ニューラルネットワークの潜在能力の高さを一般に知らしめるとともに,様々な分野での応用を促した.現在でも,ニューラルネットワークの研究においては,様々な応用を目的にネットワークアーキテクチャと学習法が提案されているが,ニューラルネットワークのパラメータの分析はある意味で近年までおざなりにされてきた.しかし,現実問題にある種のニューラルネットワークを適用する場合,ネットワークの中で自由に更新できるパラメータの数をどのくらいにすれば,実環境でどのくらいの能力を発揮できるのかということが重要な問題となる.

　我々は,このニューラルネットワークのパラメータの数とその能力との関係がニューラルネットワークの学習によって推定されるパラメータの特徴を数理的に分析することで明らかにできると考え,観測例題数が無限に得られ,ニューラルネットワークによる学習が理想的に行なわれた場合のパラメータを最適パラメータとして,実適用下で推定されるパラメータの最適パラメータからのずれを次の2つの「ゆらぎ」に分けて分析した.

・現実には観測される例題数は有限である.そのため,有限個の偏った例題から最適パラメータに近い値を推定することになる.有限個の例題に対してニューラルネットワークの学習が理想的に実行されて得られるパラメータである準最適パラメータは最適パラメータのまわりにゆらぐことになる.このゆらぎを「統計的ゆらぎ」と呼ぶことにし,このゆらぎを分析する.

・現実にはニューラルネットワークが準最適パラメータを求められるのは稀である.つまり,ニューラルネットワークの学習によって推定されるパラメータは準最適パラメータの周辺にゆらぐことになる.このゆらぎを「学習にともなうゆらぎ」と呼ぶことにし,このゆらぎを分析する.

　我々はニューラルネットワークモデルMi={pi(y|x;wi)}をM1⊂M2⊂M3⊂...のような階層モデルであるとして,推定パラメータの有する上述2つのゆらぎの数理的に分析し,ニューラルネットワークが実環境下でどれくらいの能力を発揮できるかを評価する次式で表される規準(Neural Network Information Criterion : NNIC)を導出した.

ここで,wniはデータ数nの例題をニューラルネットワークモデルMiで学習して得られる推定パラメータであり,D(qn*,wni)は次式で与えられる.

また,Vni,Hni,tiは次のように表現される.

〈・〉は,例題ζnから抽出することによって得られるいくつかの例題ζm,ζlから求められるwmi,wliの分布での平均を表す.

　この規準を「翌日最大電力需要予測」と「マニュピュレータの正しい姿勢位置の学習」を行なうニューラルネットワークの構成決定に適用し,その有用性を確認した.図1に各々の問題に適用したニューラルネットワークを示す.

　翌日最大電力需要予測は,主に気象要因に基づいて行なわれる.夏季と冬季の最大電力需要と気象要因との関係には非線形性が強く,その予測モデルの構築には,非線形の関数近似能力の高いニューラルネットワークの適用の有用性が指摘されている.しかし,ニューラルネットワークの構成,つまりその中間層ユニット数についての議論は十分行なわれておらず,その数をここで提案する規準で決定すれば予測精度の向上が図れるのでないかと考えた.表1に重回帰分析によるモデル,経験的に中間層ユニット数を決定したニューラルネットワークモデル(中間ユニット数固定化N.N.),中間層ユニット数をNNICで決定したニューラルネットワークモデル(中間層ユニット数最適化N.N.)の1988,1989年度の夏季,冬季の予測結果を示す.表1から,1988,1989年度夏季および冬季について,いずれの場合も提案する規準を用いて構成を決めたニューラルネットワークモデルのMean Absolute Percentage Ettorが小さいことから平均的な予測誤差が他のモデルより小さくなっていることがわかる.また,Root Mean Square Errorが小さいことから同モデルが他のモデルより予測が大きく外れることが少ないこともわかる.

　図2のような平面2関節マニュピュレータを考える.マニュピュレータの正しい姿勢位置の学習とは,図2の肘(elbow)と手(hand)の位置が観測雑音を加えられて獲得され,その観測データから雑音を除去したマニュピュレータの正しい姿勢位置を推定する図1右図に示す砂時計型ニューラルネットワークモデルを構築する問題である.表2に圧縮,復元層ユニット数,観測データに対する学習誤差,NNICの値,観測データとは別の未知データに対するテスト誤差を示す.ここで,学習誤差とは入力に雑音の加わった観測データを用い,教師信号にも同じデータを用いた場合のネットワークの出力と教師信号との平均自乗誤差であり,テスト誤差とは入力に観測データとは別の雑音の加わったデータを用いた際のネットワークの出力と雑音を除去したデータとの平均自乗誤差を表す.また,このシミュレーションではボトルネック層ユニット数を2としている.表2から,NNICの値が最も小さくなる場合の砂時計型ニューラルネットワークのテスト誤差が最も小さくなっており,雑音除去を最も適切に行なうネットワーク構成が得られていることが確認できる.

　本論文ではニューラルネットワークの実環境下での能力を評価する規準を提案し,その有効性をシミュレーションによって示した.

図1: 最大需要予測のためのニューラルネットワーク(左図)とマニュピュレータの姿勢の学習用ニューラルネットワーク(右図)

表1: 1988,1989年度における各モデルの予測誤差

図2: マニュピュレータモデル

表2: 学習誤差,NNICの値,未知データに対するテスト誤差

　近年,ニューラルネットワークは画像処理,音声認識,ロボットや家電機器の制御,電力需要の予測など,様々な領域に適用されている,そのような中,現実問題にある種のニューラルネットワークを適用する場合,ネットワークの中で自由に更新できるパラメータの数をどのくらいにすれば,実環境でどのくらいの能力を発揮できるのかという問題を解明することの重要性は高い.本研究では,実用的な視点からニューラルネットワークの学習におけるパラメータのゆらぎと能力との関係を解析し,ニューラルネットワークの実環境下での能力を測る規準を提案すること,およびいくつかの具体的問題にその規準を適用して有効性を示すことを目的とする.

　本論文は「ニューラルネットワークの学習とパラメータのゆらぎに関する研究」と題し,6章より成る.

　第1章では,本研究の動機と目的を述べている.

　第2章は“ニューラルネットワークのパラメータのゆらぎ”と題し,ニューラルネットワークの学習によって推定されるパラメータのゆらぎについて論じている.まず必要となる数学的準備をした後,ニューラルネットワークの学習を定式化し,推定されるパラメータのゆらぎを例題数が有限であることに起因する統計的ゆらぎとニューラルネットワークの学習特性に起因する学習に伴うゆらぎに分けて解析している.ここでは,有限の例題から得られる経験分布による最適なパラメータ(本論文ではこれを準最適パラメータと呼んでいる)が同時確率分布が与えられた場合の最適なパラメータからどれだけゆらぐかを漸近理論を用いて解析し,さらに,ニューラルネットワークの学習によって推定されるパラメータが準最適パラメータからどれだけゆらぐかをいくつかの仮定の下で計算可能な形で解析している.

　第3章は“ニューラルネットワークの能力評価”と題し,第2章での解析結果に基づきニューラルネットワークの中間層ユニット数と能力との関係を評価する一つの規準について記述している.ここでは,統計の分野で既に研究,提案されている他の規準と比較した場合,本論文で提案する規準がその規準とニューラルネットワークの学習によって推定されるパラメータとの関係が明確であることやニューラルネットワークが適用される状況を考えると優位であることが主張されている.また,本章では提案する規準と他の規準との比較を数種の簡単なシミュレーションによって示し,提案する規準の妥当性を確認している.

　第4章および第5章では電力分野,人工知能,機械学習研究で実際に利用されているニューラルネットワークの能力評価に,本論文で提案する規準を適用した場合の有効性を示している.

　第4章は“翌日最大電力需要予測へのニューラルネットワークの適用”と題する.電力会社の重要な業務である翌日最大電力需要予測をニューラルネットワークで行なう場合に,本論文で提案する規準を適用して平均的な予測精度の向上を図る試みについて述べている.電力会杜の中央給電指令所では,毎日できるだけ低コストで高品質な電力を発電できるように発電所の運転計画を作成している.その際,火力発電所の起動準備には約24時間を要するため,翌日の最大電力需要をできるだけ正確に予測する必要がある.ここでは,ある電力会社が実際に利用しているデータに基づき,従来利用されている重回帰分析に基づく予測と経験的に中間層ユニット数を決めたニューラルネットワークによる予測および本論文で提案する規準を用いてユニット数を決めたニューラルネットワークでの予測結果の比較について報告し,本論文で提案する規準を用いて構成を決めたニューラルネットワークによって有意な予測精度の向上が実現できることを確認している.

　第5章は“ボトルネックニューラルネットワークの適切な内部表現の獲得”と題し,人工知能や機械学習研究におけるデータマイニング,情報圧縮に利用される砂時計型ニューラルネットワークのパラメータ数の決定に提案する規準を適用し,復元誤差の小さなネットワークを設計する試みについて述べている,ここでは,2次元マニュピュレータの正しい姿勢位置の学習に砂時計型ニューラルネットワークを用いる際のネットワーク構成の決定に提案する規準を適用し,入力データの雑音を最も適切に除去できる砂時計型ニューラルネットワークの構成を決定できることを示している.

　第6章では以上の研究成果をまとめると共に今後の課題が列挙されている.

　以上を要するに,本論文ではニューラルネットワークのパラメータ数とその能力との関係をパラメータの統計的ゆらぎと学習にともなうゆらぎとにわけて分析し,実環境下でのニューラルネットワークの能力を評価する規準を提案すると共に,その規準の工学的有効性を確認したものである.これは数理工学上貢献するところが大きい.よって本論文は博士(工学)の学位請求論文として合格と認められる.