1. 背景

ハイパースペクトルカメラは約100~200の波長帯で画像を取得することができる。豊富なスペクトル情報を活用することで、撮像物体の物性を詳細に把握することができる。リモートセンシング分野における利用が期待されており、現在、次世代地球観測衛星として各国が衛星搭載型ハイパースペクトルの開発を進めている。従来型の4~10の波長帯を観測するマルチスペクトルセンサでは不可能であった、植物や鉱物の高度な品種分類が可能となる。ただし、ハイパースペクトルカメラは空間分解能が低いという問題がある。衛星搭載型ハイパースペクトルカメラは地表面をライン状に走査し、分光画像を連続的に取得するプッシュブルーム型の撮像方式を採用している。各波長帯画像のシグナルノイズ比を保つためにはマルチスペクトルカメラやパンクロマティックカメラと比べて相対的に空間分解能が低くなる。日本の次世代地球観測衛星Advanced Land Observation Satellite 3 (ALOS-3:通称だいち3号)にはハイパースペクトルカメラとマルチスペクトルカメラで構成されるHyperspectral Imager SUIte (HISUI)と、ステレオ視機能を有するパンクロマティックカメラが搭載される。3つのセンサの概要は表1の通りである。パンクロマティック画像を用いてマルチスペクトル画像の空間分解能を向上させるパンシャープンについては多くの研究がなされてきた。しかし、スペクトル情報を保ちつつ空間分解能を上げることは容易ではなく、ハイパースペクトル画像の高空間分解能化に関する研究は進んでいない。本研究の目的は、ハイパースペクトル画像をマルチスペクトル画像やパンクロマティック画像と融合することで高空間分解能なハイパースペクトル画像を生成することである。豊富なスペクトル情報を用いて撮像範囲に存在する物質(端成分)とその含有率を推定する「ミクセル分解」を応用することで、スペクトル歪みの少ない高精度なデータ融合を達成する。また、データ融合に必要な複数センサ間の相対的装置関数を観測画像から推定するクロスキャリブレーション方法を示す。最後に、本データ融合が植生の品種分類に与える影響についても述べるとともに、データ融合に基づく新しいセンサ設計を検討する。

2. ミクセル分解

ミクセル分解を行う際には、現実世界の複雑な光の反射現象を近似するスペクトル混合モデルが重要となる。線形スペクトル混合モデルでは地表面の物質は全て平坦とし1次反射光のみを考慮する。この場合、ハイパースペクトル画像の各ピクセルで得られるスペクトルは、端成分スペクトルの線形混合で表せる 。既に撮像範囲に存在する物質とそのスペクトルがわかっている教師ありのミクセル分解では、端成分の含有率推定は2次計画法によって解くことができる。撮像範囲にある端成分がわからない教師なしの場合は、まず端成分のスペクトルを推定する必要がある。1つのピクセル内が単一の物質のみで埋め尽くされている場合、これをピュアピクセルと呼ぶ。全ての端成分に対して観測画像内に少なくとも1つのピュアピクセルが存在する場合、端成分は多次元空間内に広がるデータクラウドにおいて、多面体の頂点に位置する。この現象を利用した端成分抽出手法には様々な手法が提案されている。しかし、多くの場合はこのピュアピクセル仮定が成り立たない。ピュアピクセル仮定が成り立たない場合でも、ピュアピクセル仮定に基づいた結果を初期値に設定し、より正確な解を求める手法として非負値行列分解が注目されている。また、近年は単純な線形スペクトル混合モデルでは現実世界を記述できないとし、2次の反射光まで考慮する非線形スペクトル混合モデルとして双線形スペクトル混合モデルが提案されている。著者はこの双線形スペクトル混合モデルを解く新しい最適化手法として準非負値行列分解の応用を提案した。提案手法は既存の最適化手法よりも計算コストが少なく推定精度も良いことを示した。

3. 連成非負値行列分解を用いたデータ融合

ハイパースペクトル画像とマルチスペクトル画像を融合し高空間分解能なハイパースペクトル画像を生成する新規手法として連成非負値行列分解を提案した。本手法は、ハイパースペクトル画像とマルチスペクトル画像に対して交互にミクセル分解を適用する。ハイパースペクトル画像から得られる高スペクトル分解能な端成分スペクトル情報と、マルチスペクトル画像から得られる高空間分解能な含有率分布情報を組み合わせることで高空間分解能なハイパースペクトル画像を生成することができる。連成非負値行列分解は本博士論文の根幹をなすアルゴリズムであり、その概要を図1に示す。本手法はパンクロマティック画像を用いたハイパースペクトル画像の高空間分解能化にも拡張可能であることを実証した。ただし、スペクトル情報がないパンクロマティック画像と融合した場合、スペクトルの歪みは避けられない。また、準非負値行列分解を用いた双線形ミクセル分解を連成非負値行列分解に組み込むことで、2次反射光を考慮したスペクトル混合モデルに基づくデータ融合手法を開発した。計算時間が増大するという問題があるものの、線形スペクトル混合モデルに基づくデータ融合 よりも優れた性能を示した。これは、実際のスペクトル混合モデルには線形モデルでは記述できない非線形が含まれていることを示唆している。

4. クロスキャリブレーション

複数の光学カメラを用いたデータ融合においてはスペクトル応答関数や点分布関数といったセンサ特性の相対的な関係性が重要である。特に、連成非負値行列分解の中で用いられる相対的スペクトル応答関数は最終的な融合画像の性能に大きな影響を与えることが実験的にわかっている。観測画像のみから相対スペクトル応答関数を推定する手法を提案した。ハイパースペクトルカメラのスペクトル応答関数のスペクトル幅は相対的に非常に狭いことから、それらの線形混合によってマルチスペクトルカメラやパンクロマティクカメラのスペクトル応答関数を近似することができる。各波長帯画像はそれぞれのスペクトル応答関数がカバーする波長帯の光のエネルギーを反映しているので、観測画像についても全く同じ線形近似が成り立つといえる。この近似に基づいて、線形近似の誤差を最小化することで相対的なスペクトル応答関数を求めることができる。打ち上げ前の特性を考慮し、観測画像から軌道上での相対スペクトル応答関数の推定手法として2次計画法を用いる新規手法を提案した。EO-1/Hyperion(ハイパースペクトルカメラ)画像とTerra/ASTER(マルチスペクトルカメラ)画像に本手法およびデータ融合を適用しその有効性を示した。

5. データ融合画像の利用

連成非負値行列分解によって生成した高空間分解能ハイパースペクトル画像が、データ利用に与える影響を植生の分類によって調べた。牧草分類のシミュレーションでは、低空間分解能なハイパースペクトル画像やマルチスペクトル画像では正確に分類できなかった品種レベルでの植生分類が融合画像によって可能になることを示した。この結果は、融合画像のスペクトル歪みは非常に少なく、本来ハイパースペクトルカメラに求められているスペクトル精度を保ったまま高空間分解能化することに成功したことを示唆している。また 、データ融合による高次画像データ生成を前提とし、ハイパースペクトルカメラとマルチスペクトルカメラを組み合わせたセンサ設計を検討した。ミクセル分解の精度が最終的な融合画像の品質に大きな影響を与えており、空間分解能の組み合わせに最適な組み合わせがあることを示した。

6. 結論

本博士論文では、ハイパースペクトルカメラをマルチスペクトルカメラやパンクロマティックカメラと組み合わせて使うことで高空間分解能なハイパースペクトル画像を生成するデータ融合手法を提案した。本手法は撮像範囲に含まれる物質とその含有率を推定するミクセル分解を応用したものであり、大きなスペクトル歪み引き起こさずにハイパースペクトル画像を高空間分解能化することに成功した。また、データ融合に不可欠な相対的センサ特性を撮像画像のみから推定する手法を開発し、その有効性を実証した。ハイパースペクトルカメラの長所であるスペクトル情報と、従来型カメラの空間情報をソフトウェアによってうまく組み合わせることでハードウェアの限界を越える高スペクトル・高空間分解能画像の生成を実現した点において本研究は独創的である。従来型カメラの空間分解能で詳細かつ正確な物性の推定が可能になるため、ハイパースペクトル画像の応用分野に大きなブレークスルーをもたらすことが期待できる。また、本データ融合手法は、単独のハードウェアにおける限界を、ソフトウェアと複数センサで解決するものであり、新しい衛星センサ設計の可能性を示した点において宇宙工学上貢献するところが大きい。

表1. ALOS-3に搭載される光学カメラの概要

図1 連成非負値行列分解の概要

修士(工学)横矢直人提出の論文は「Hyperspectral Data Fusion Based on Unmixing(和文題目:ミクセル分解に基づくハイパースペクトルデータ融合)」と題し、本文6章から成っている。

スペクトル分解能の高いハイパースペクトルカメラは観測対象の物性を詳細に把握することが可能であり、次世代地球観測衛星センサとして各国で開発が進められている。日本でもハイパースペクトルカメラとマルチスペクトルカメラで構成されるHyperspectral Imager Suite (HISUI)が現在開発されている。光学カメラ設計におけるスペクトル分解能と空間分解能のトレードオフから、ハイパースペクトルカメラはマルチスペクトルカメラよりも空間分解能が低く、利用範囲が制限されるという問題がある。両センサの長所を併せ持つ高スペクトル分解能かつ高空間分解能な光学画像データが得られれば、リモートセンシングの利用拡大に貢献することができる。

本論文では、ハイパースペクトル画像とマルチスペクトル画像を融合させることで、高空間分解能なハイパースペクトル画像を求める新規手法を提案している。教師無しミクセル分解に基づく本手法は、既存手法よりもスペクトル歪みの極めて小さい融合画像を生成することができる。ハイパースペクトルデータ融合はデータ利用の範囲を拡大するだけでなく、データ融合を見据えたセンサ設計の指針となるものである。

第1章は序論であり、リモートセンシングにおけるハイパースペクトル画像利用への期待が高まっていることを説明するとともに、シグナルノイズ比の制限により空間分解能が低いという問題点について述べている。パンクロマティック画像を使ってマルチスペクトル画像の空間分解能を上げるパンシャープン技術や、ハイパースペクトル画像とマルチスペクトル画像の融合技術について先行研究を纏めている。そして本研究の基礎となるミクセル分解と、そのデータ融合への応用可能性について説明した上で、本研究の位置づけを行っている。

第2章では、観測範囲に含まれる端成分のスペクトルとその含有率を求めるミクセル分解について整理している。線形スペクトル混合モデルに基づくミクセル分解への利用が盛んな非負値行列分解について述べるとともに、非線形スペクトル混合モデルを解く最適化手法として準非負値行列分解を導入している。合成データを用いたシミュレーションで提案手法の有効性を確認し、航空機ハイパースペクトルデータへの適用によりその実用性を示している。

第3章は本論文の中心的部分であり、第1節では線形ミクセル分解に基づくハイパースペクトルデータ融合について提案手法を示している。ハイパースペクトル画像とマルチスペクトル画像に対して、非負値行列分解を用いたミクセル分解を交互に適用し、スペクトル分解能の高い端成分スペクトルと空間分解能の高い含有率分布図を組み合わせることで高スペクトル分解能かつ高空間分解能な融合画像を推定することが可能となる。航空機ハイパースペクトルデータを用いたシミュレーションで、提案手法は既存手法よりもスペクトル歪みが小さいことを確認している。従来型カメラの空間分解能で詳細かつ正確な物性の推定が可能になるため、ハイパースペクトル画像の応用分野に大きなブレークスルーをもたらすことが期待できる。第2節ではパンクロマティック画像との融合で更なる空間分解能向上が可能であることを述べている。第3節では、ミクセル分解過程に非線形スペクトル混合モデルを導入することで、より複雑な反射モデルに対応したデータ融合手法に拡張できることを示している。

第4章では、本データ融合に必要な相対装置関数を観測画像から推定する手法を解説している。打ち上げ前の波長応答関数を拘束条件とし、軌道上の相対波長応答関数を推定する手法を提案している。EO-1/HyperionとTerra/ASTERへの適用例を示し、相対装置関数の推定が高性能なデータ融合生成に必須であることを確認している。

第5章では、本論文で提案するハイパースペクトルデータ融合の応用について述べている。データ融合の利用における影響を調べるために、牧草の品種分類を行っている。融合画像は高スペクトル分解能かつ高空間分解能で観測した画像と同程度の分類精度を示し、融合画像が高度な品種分類に耐えうるスペクトル性能を有していることを明らかにしている。最後に、データ融合を見据えたセンサ設計について考察している。理想的には、スペクトル分解能も空間分解能もできるだけ高い画像を得たいというニーズがあるが、センサ設計におけるハードウェア上の困難から、これを1つのセンサで達成することは難しい。ハイパースペクトルカメラとマルチスペクトルカメラの2つのセンサと本論文で考案したデータ融合手法を活用することで理想的な画像を得ることが可能となる。航空機ハイパースペクトル画像を用いたシミュレーションで、融合画像の性能を最大化するセンサ設計点が存在することを明らかにしている。これによって、データ融合を見据えたセンサ設計の提示が可能となる。

第6章は結論であり、本研究で得られた結果を総括している。

以上要するに、本論文は、ハイパースペクトルカメラの長所であるスペクトル情報と従来型カメラの空間情報をソフトウェアによってうまく組み合わせることで、ハードウェアの限界を越える高スペクトル分解能かつ高空間分解能な画像を生成するデータ融合手法を提案している。実証実験を通じてその有効性を検証するとともに、新しい衛星センサ設計の可能性を示しており、航空宇宙工学上貢献するところが大きい。

よって本論文は博士(工学)の学位請求論文として合格と認められる。