リモートセンシングデータの分類問題(すなわち、個々のピクセルをその特徴ベクトルに基づき、いくつかの土地被覆クラスのいずれかに分類する問題)はリモートセンシングデータ解析における主要問題の1つである。この問題への代表的な接近法は、トレーニングデータを用いて最尤法によって分類モデルを開発する方法であり、特に特徴空間に多変量正規分布を仮定するモデルはこれまで最も頻繁に利用されてきた。しかし、リモートセンシング解析の実際では、各クラスの分布が一定の確率分布に従うようにクラス設定をするのは困難であり、そのため十分な精度を有する分類モデルを開発することは容易ではない。そこで、注目されるのが階層型ニューラルネットワーク(Layered Neural Netowrk:LNN)の適用である。LNNは、複雑な入出力関係を高精度に表現する手法であり、人間の高度な判断処理過程をコンピュータ処理に置き換える手法として期待されている。近年では、衛星画像データを利用した土地被覆分類にも応用が試みられ、従来手法と比較して高い推定能力を有することが報告されている。しかし、これら従来の応用においては以下のような問題、課題を有している。

　(1)LNNの情報処理に対して、理論的な意味解釈を与えているものがほとんどなく、多くの応用研究ではLNNをブラックボックスの推定マシンとして利用している。LNN分類は基本的には統計的な一分類手法であり、これが既存の分類モデルとどのような関係にあるかを示すことは可能と思われる。LNNの合理的な普及を阻害している1つの原因がこのブラックボックス性への疑念にあるとも指摘されている。

　(2)LNNによる高精度な推定は、ニューロン間の結合強度に代表される多数のパラメータによって支えられている。しかし、従来の研究ではこの重大な事実がほとんど無視されており、トレーニングデータの推定精度のみの議論に終始することが多い。分類モデルを開発する目的はあくまで土地被覆図等の作成を必要とする地域への応用であり、トレーニングデータへのオーバーフィッティングは対象とする地域での推定性能(汎化性)を著しく損ねる可能性を有している。

　(3)LNNは複雑な入出力関係を比較的容易にモデル化する手法として注目されているが、実際の適用においては、パラメータの初期値設定、ニューロンの数の設定、収束の判定などにおいて、極めて多くの試行錯誤を有するものであり、一般に言われているほどの操作性を有するものではない。特にリモートセンシングデータへの適用では扱うデータ量も膨大であり、この問題はさらに深刻である。

　本研究は、以上の背景を強く意識しながら、リモートセンシングデータの分類問題におけるLNNの基本的な設計方法について考察し、現段階において最も合理的かつ実用的と考えられる設計手法を提案するものである。

　第1章では、研究の背景と目的をより詳細に述べている。

　第2章では、リモートセンシングデータの分類問題に関する従来の研究をレビューし、その限界とLNNを適用することの利点を整理するとともに、従来におけるLNNの応用研究の問題点を指摘している。

　第3章では、LNNを分類問題に適用するための基本型を定式化し、バックプロバゲーション法によるネットワークの学習方法(結合強度パラメータなどの推定方法)を整理している。LNN分類モデルの基本型は、入力層に特徴ベクトルが入力され、中間層を通して出力層に情報伝達がなされ、出力層に用意された各クラスに相当するニューロンからLNNとしての出力を行う典型的なフィードフォワード型のネットワークである。ネットワークの学習には、いわゆる|0,1|学習法、すなわち観測されたクラスに相当するニューロンから1を、他のニューロンからは0を出力するようにパラメータを調整する方法を用いる。

　第4章では、後の章での考察の基盤となる情報理論について、エントロピー最大化原理、相対エントロピー、赤池の情報量規準(AIC)を中心にその基礎的事項を整理している。

　第5章では、第3章で定式化したLNN分類モデルが従来の統計的分類手法との対比からいかなる意味を有しているかを考察している。また、その考察に基づき、従来の分類モデルを包括的に表現するLNN分類モデルの一般型を提示している。主な考察と成果は以下の通りである。

　(1)統計的分類手法の理論的背景はベイズ分類にある。本章では、まず既存の文献を整理する形で、十分な数の|0,1|トレーニングデータによって学習されたLNN分類モデルの出力はベイズの事後確率を近似する、ということを示している。すなわち、LNN分類モデルはノンパラメトリックなベイズ分類モデルに相当し、最尤法との対比が明確になる。なお、リモートセンシングデータの分類では、他の統計モデルの開発と比して数多くのトレーニングデータの取得が可能であるために、この定理の実効性は高い。

　(2)LNNの出力層の応答関数(出力層ニューロンの内部状態をネットワークの出力に変換する関数)が単調増加関数であるとの仮定をすれば、出力層ニューロンの内部状態がいわゆる判別関数に相当し、LNNの特徴を大きく規定する応答関数の関数型をエントロピー最大化原理から導けることを示した。Kapurの一般化エントロピーから、応答関数型を導くことにより、LNNの応用でしばしば用いられるシグモイド型応答関数によるLNN分類モデル、そして最尤分類モデルの1つであるロジットモデルを包括する、LNN分類モデルの一般型を導いた。提案する一般型は、1つのパラメータによって制御でき、旧来型のLNNからロジットモデル、さらにはこれらの中間型あるいは拡張型として解釈が可能な種々のモデルをトレーニングデータから同定することができる。

　第6章では、LNN分類モデルの汎化性を評価する手法、ならびに汎化性の改善、あるいはモニタリングする手法について考察している。主な考察と成果は以下の通りである。

　(1)LNN分類モデルの出力がベイズの事後確率を近似することは、汎化性の評価においても情報量規準の援用が合理的であり、またこれに基づいて最尤法などの他の分類手法との合理的な性能比較を可能にするものであることを指摘している。本研究では、代表的な情報量規準であるAICを援用し、AICによる汎化性評価を参考にしながらLNN分類モデルの設計を行う過程を示している。

　(2)LNNでは、学習回数が多ければ多いほどトレーニングデータの推定精度は向上する。したがって、同じ構造のLNN(ネットワークの結合と応答関数型が同じLNN)であれば、学習回数を多くすればそれだけAICは改善され、汎化性が向上したと判定される。しかし、トレーニングデータの数が十分でない場合には、過多の学習によりバリデーションデータ(トレーニングデータ以外に用意された汎化性を実証実験するためのデータ)の推定精度が劣化するという不適切性の存在が一部の研究者により指摘されている。この不適切問題に対し本研究では、適切化手法の一つとして知られるティホノフの適切化手法を用い、過多の学習を防ぐ方法を提案している。無論この手法には、適切化パラメータの決定に関し問題もあるが、本研究ではバリデーションデータを用いてこれを決定することとした。

　第7章では、以上において提案したLNN分類モデルの設計手法、適用手法を実際に支援するシステム開発を行っている。中でも特記すべきは、汎化性の向上を主目的に5階層LNNによって入力データの次元縮小を行うシステムを開発し、その有効性を示していることである。リモートセンシングデータのハイパーマルチバンド化が進む状況において、バンドの次元縮小は、汎化性の改善のみならず、データの管理・処理の効率性向上の観点からも大きな意味を持っている。

　第8章は、提案した手法、支援システムの適用実験とその結果について報告している。本研究では12バンドの航空機リモートセンシングデータを用いて実験を行った。まず、LNNによるデータ圧縮手法を適用し、3次元情報への圧縮が可能であることを示し、これを入力データとした。次いで、LNN分類モデルの一般型の同定によって、旧来型のLNN分類モデルとロジットモデルより精度の高いモデルを両モデルの中間型モデルとして構築することが可能であること、また、そのモデルが最尤法よりも優れた精度、汎化性を有することを確認した。さらには、モデル汎化性の向上が計算時間の飛躍的軽減にも貢献しうることを確認した。

　第9章では、本研究の成果と今後の課題についてまとめている。本研究を総括すれば、リモートセンシングデータの分類モデルへのLNNの適用可能性に注目し、情報理論を基盤としながらLNNの設計法を示すとともに、それを支援する実用的な計算機システムを開発した、ということである。提案した設計法により、従来の分類モデルとの比較が明確になり、これまでのLNNの応用研究において散見されたブラックボックス性を排除できた。また、LNNの応用においてきわめて重要な汎化性という視点において、LNN分類モデルと最尤法による種々のモデルの比較を可能にする枠組みを与えることができた。

　本論文は、リモートセンシングデータの分類問題への階層型ニューラルネットワーク(LNN)の応用研究に関して従来から散見された以下の2つの主要問題に着目し、その問題の具体に関する理論的な整理と、問題解決に向けての実行可能な方法について考察、提案を行ったものである。

　(1)LNNのリモートセンシングデータの分類への応用が、従来の分類手法と理論的にどのような関係にあるのかを十分吟味してない。そのため、LNNの応用は、その基本型を備えた市販のプログラムパッケージをブラックボックス的に適用するのみであり、理論的な明確な解釈のもとに、LNNの基本型を対象とする問題に適合するように拡張するといった戦略をとるに至ってない。

　(2)LNNによる高精度な推定は多数のパラメータによって支えられている。しかし、この重大な事実がほとんど無視されており、トレーニングデータの推定精度のみの議論に終始することが多い。分類モデルを開発する目的はあくまで土地被覆図等の作成を必要とする地域への応用であり、トレーニングデータへの過多推定は汎化性を著しく損ねる可能性を有している。

　本論文の成果について評価しうる点は以下のようにまとめられる。

　(1)十分な数のトレーニングデータによって学習されたLNN分類モデルの出力はベイズの事後確率を近似する、という既存研究の成果をベースに、リモートセンシングデータの分類では、他の統計モデルの開発と比して数多くのトレーニングデータの取得が可能であるために、これを利用してモデルの意味解釈やモデルの精度の検証を最尤法と同じ枠組みで行えることを示している。

　(2)Kapurの一般化エントロピーを援用し、一般的なシグモイド型応答関数によるLNN分類モデル(シグモイド型LNN分類モデル)や、最尤分類モデルの1つであるロジットモデルを包括する、LNN分類モデルの一般型を導いている。この一般型により、シグモイド型LNN分類モデルとロジットモデルを同一の理論的枠組で表現でき、これを利用して、それらの中間型あるいは拡張型の種々のモデルを1つパラメータの制御によって記述できるようになった。この成果によって、理論的な意味解釈が明確で、かつトレーニングデータに最も適合するモデルを同定する方法が得られた。

　(3)汎化性の問題は従来のニューラルネットワーク研究でもその重要性は指摘され、AIC基準などの情報量規準を用いてモデル評価を行う試みがなされてきた。本論文でも情報量基準に基づくLNNの設計過程を提案しているが、一般に用いられる中間層ユニット数の調整だけでなく、入力データの次元縮小、ネットワークの冗長リンクの除去(Pruning)の重要性を示し、各々実行性ある手法を提案し、その有効性を実証している。現在、リモートセンシングの分野では、ハイパーマルチバンド化が進んでおり、リモートセンシングデータの次元縮小へのLNNの有効性が示された意義はきわめて大きい。

　(4)本論文では、汎化性を未知データの分類結果の分散によって定義し、トレーニングデータの数が十分でない場合には、情報量基準による評価のみならず、過多学習を防ぐ手段を並行して実施することの重要性を指摘している。具体的には、ティホノフの適切化手法に着目し、過多学習を防ぐ方法を提案している。ティホノフの適切化手法には、適切化パラメータをいかに決定するかという問題点があるが、リモートセンシングの分野ではトレーニングデータに加えバリデーションデータの確保が比較的容易であるため、適切化パラメータの決定にもバリデーションデータを利用することができ、ティホノフの適切化手法の有効性は高いと考えられる。

　(5)LNNは複雑な入出力関係を比較的容易にモデル化する手法として注目されているが、実際の適用においては、パラメータの初期値設定、各階層のユニットの数の設定、収束の判定などにおいて、極めて多くの試行錯誤を有するものであり、一般に言われているほど操作性を有するものではない。特に、本論文では、応答関数のパラメータ設定、入力データの次元縮小、Pruningなどの過程を含めたLNNの設計法を提案しており、この問題はさらに深刻である。本研究では、リモートセンシングデータの分類へのLNNの応用を支援するため、フォールスカラー画像の作成、トレーニングデータの作成といったリモートセンシング解析独特の機能に加え、LNN分類に必要な上記の種々の操作を効率的に実施する機能を備えたきわめて効率的な支援システムが開発されている。

　以上本研究により、LNN分類モデルと従来の分類モデルとの理論的比較や、それに基づくLNN分類モデルの拡張が可能になり、これまでの応用研究において散見されたブラックボックス性を大きく排除できた。また、LNN分類モデルの汎化性の評価・改善の手法が示され、これにより、汎化性の視点からLNN分類モデルと最尤法による種々のモデルの性能比較を可能にする枠組みが示された。

　よって本論文は博士(工学)の学位請求論文として合格と認められる。