1.研究の背景

近年,自然環境や生活環境といった実環境のモニタリングや監視,警報,予報の必要性が高まってきており,カメラ画像の利便性を活かした画像センシング研究に注目が集まっている.その要素技術としては,画像処理やコンピュータビジョンに基づいて,観測する対象に関する画像特徴の推定,解析,予測があり,このような処理を通じて,膨大化しつつある時系列画像情報の大幅な削減や各種情報端末への有益な情報配信がなされつつある.

対象の画像特徴については,重心位置や表面形状などが時間と空間で変化しているという大きな特徴がある.そのため,対象の動きを推定・解析するフロー推定法が重要となっている.また,推定されたフローを活かして,現在から次の時刻以降の状態や様子を知るためのリアルな画像予測法が必要となっている.しかし,これまでのモデルや方法は照明条件を一定とした屋内実験環境や人工物を対象としたものが多く,屋外の対象,特に,流体状の自然現象を扱った例は稀であった.また,対象の大局的な画像特徴に基づいたモデリングが多く,環境外乱やノイズが著しい場合や対象の変形自由度が高い場合あるいは表面形状やテクスチャ(模様)が粗い場合,データの分解能不足などが問題視されていた.

フロー推定法として活発に研究が進められているのは勾配法であり,輝度やフローなどに関する拘束条件に基づく様々な目的関数が提案されているが,以下のような課題があった.一つ目の課題は,拘束条件間のバランスを左右するモデルパラメータにおいて,局所的な画像特徴の違いにも関わらず,経験的に画像全体で一つのパラメータ値が設定されているために局所的にフローが乱れてしまうことであった.二つ目の課題は,環境外乱が著しく,対象が重って見え隠れがある場合においても,大局的な画像特徴による対応づけを行っているため,対象以外の余分な背景のフローを同時に推定してしまうことであった.三つ目の課題は,変形自由度の高い流体状画像において,流れの向きが急激に変化するときに対応したフローが推定・解析できないことである.

一方で画像予測法は,過去から現在の画像情報に基づいて未来の画像を外挿するものであり,様々な画像予測関数が提案されてきた.しかし,メッシュモデルなどの大局的な画像特徴に基づいているために,予測画質の品質が低いという問題があった.よりリアルな表現のためには,表面形状やテクスチャといった局所的な画像特徴を利活用できるような高い表現をもった画像予測関数が求められてきた.

2.研究の目的

そこで本研究では,高精度な実環境画像センシングを実現するために,局所的な画像特徴に基づくフロー推定法と,推定されたフローに基づいた画像予測法を提案することを目的としている.

まず,フロー推定法では,表面形状やテクスチャの変化のある時系列的な画像間から局所的な画像特徴に基づいた目的関数,特に,変形自由度が大きい対象に関する物理的な表現に対処できる物理モデルに基づいた目的関数を提案している.次いで,画像予測法では,過去から現在までの画像からリアルな画像を生成・予測するために,局所的な画像特徴について,特に,直近や未来において移動・変形を繰り返していくような対象に関する物理的な表現ができる物理モデルに基づいた画像予測関数を提案している.

3.論文の構成と各章の研究概要

本論文は8章から構成されている.第1章は序論であり,第2章~第4章はフロー推定に関して,第5章~第7章は画像予測に関して述べている.第8章は結論である.以下では,第2章~第7章の研究概要を述べる.

第2章は,「局所的な画像特徴に応じたモデルパラメータの最適化法」と題し,勾配法で広く用いられているHorn&Schunck (HS)法において,そのモデルパラメータの一つであるフローの滑らかさの拘束条件に対する重み係数に関して画像の局所的な画像特徴に基づいて最適化する方法について提案している.

まず,従来法では得られていなかった局所的な画像特徴と重み係数の関係について効率よく解析するために,フーリエ変換に基づいたテクスチャ解析が広く用いられていることから正弦波画像の振幅から得られる輝度の標準偏差と波数をさまざまに変えた画像を生成した.次に,生成した正弦波画像ごとに目的関数を最小化する重み係数を得て,これを最適な重み係数とした.実験において,提案手法が局所的な画像特徴に応じた複数の重み係数を用いているため,一つの重み係数を用いる従来法よりもフロー推定精度が2倍近く向上することを示している.

第3章は「局所的に見え隠れのある対象のフロー推定法」と題し,環境外乱や対象間で見え隠れする場合において,局所的な画像特徴に基づいたフロー推定のための目的関数について述べている.

提案手法ではわずかに見える対象間の局所的な画像特徴の対応づけのために,輝度変動モデルとフローの局所的な平行性の拘束条件を導入し,さらにノイズなどの外れ値の影響を抑制するロバスト推定法に基づいた目的関数を提案している.これにより従来法のように背景と対象の双方からのフローが混在して推定される問題を解決している.実験では降雪により見え隠れが生じている交通シーンにおいて,提案手法によれば従来法では得られなかった走行車両のフローが得られることを示している.

第4章は,「局所的に変形自由度のある対象のための物理的なフロー推定法」と題し,局所的に変形自由度の高い画像に応じたフロー推定を実現するために,その局所的な画像特徴について物理的な表現に基づいたフロー推定法について述べている.これまでのフロー推定法は一定領域内での流量の出入りが一定という大局的な画像特徴に基づいていたため,急激に流れが変わるようなフローが得られなかった.そこで提案手法では表面形状やテクスチャといった局所的な画像特徴をうまく捉えられる物理的な表現を考え,波生成理論から導かれる波物理モデルに基づいた目的関数を提案している.実験において,提案手法により水面の流れが壁との衝突で生じるような局所的なフローが推定・解析できることを示している.

第5章は,「局所的な画像特徴の時空間的な外挿のための物理的な予測モデルの検討」と題し,変形自由度のある実画像を時空間的に外挿して画像を生成・予測するために,物理的な表現を取り入れた画像予測関数と予測モデルについて述べている.これまではメッシュモデルという対象の大局的な画像特徴に基づいたものであったが,本章ではよりリアルな表現のために対象の局所的な画像特徴,特に,フローを活かせる物理的な表現ができる画像予測関数を勾配法の基本的な拘束条件より導出している.この関数は流体工学で知られている移流式と同形式の物理モデルである.また,画像を移流式に用いた画像の予測過程において,リアル性を保つための数値解法とフローと輝度に関する予測モデルについて検討し,予測精度を2倍近く改善できる画像予測関数について示している.

第6章は,「局所的な画像特徴の短時間先予測」と題し,時系列画像からの局所的な画像特徴として推定されたリアルなフローと輝度に基づいた短時間先の画像予測について述べている.これまでは過去から現在までの膨大な時系列画像を特殊な関数に学習する方法などといった大局的な画像特徴に基づいていたため,対象の局所的な画像特徴が短時間先でも失われていた.そこで本章では,局所的な画像特徴を外挿するために,画像間からリアルなフローを推定し,移流式を用いて短時間先までの画像を予測生成している.実験において,提案手法が従来法よりも予測精度を4倍近く改善したリアルな画像予測ができることを示している.

第7章は,「局所的な画像特徴の長時間先予測」と題し,時系列画像からの局所的な画像特徴として推定されたリアルなフローと輝度に基づき,長時間にわたって移動と変形を繰り返していくような対象に関する画像予測について述べている.長時間先までの画像予測が必要とされているものに気象レーダ画像を用いた雨の広がりや量に関するものを挙げることができる.しかし,従来法は一定画像領域ごとに線形外挿するという大局的な画像特徴に基づいていたため回転予測などに対応できなかった.そこで本章では局所的な画像特徴である輝度とフローの双方を時空間的に予測変化させることで従来法よりも30%以上予測精度が向上している.提案手法は全国を予報エリアとして実用化され,多くのユーザに台風や集中豪雨に対するきめ細かい予測情報が配信されるようになっている.これにより提案したフロー推定法と画像予測法の有用性と有効性を示している.

4.結論

本論文では,高精度な実環境画像センシングを実現するために,局所的な画像特徴に基づいたフロー推定法と,推定されたフローに基づいた画像予測法を提案した.

まず,フロー推定法では,モデルパラメータの最適化によりフロー推定精度を2倍以上に改善したことをはじめとして,特に,これまで困難であったような急峻な流れを推定できる新しい目的関数を創出できた.

次いで,画像予測法では,リアルな実画像を生成・予測できる新しい画像予測関数を導出した.特に,長時間予測では従来法よりも30%以上予測精度を向上させることができ,システムとして実用化したことで数多くのユーザに生活に役立つ予報の配信を実現できた.

以上より本論文はフロー推定法と画像予測法の有用性と有効性を示し,画像センシングの基盤技術の構築に寄与したと同時に,扱いづらいとされてきた実環境画像に基づいた多くの工学的な応用に貢献するものである.

本論文は、「実環境センシングのための局所的な画像特徴に基づいたフロー推定法と画像予測法に関する研究」と題し、高精度な実環境画像センシングを実現するために、局所的な画像特徴に基づいたフロー推定法と画像予測法を提案している。論文は全8章から成っている。

第1章は、序論であり、実環境センシング、特に、カメラ画像などに基づいた画像センシングにおいて重要とされている観測する対象の動き特徴を推定・解析するフロー推定法と、次の時刻以降の画像を生成する画像予測法に対する課題を整理し、具体的な研究の目的について明らかにしている。従来研究では屋内環境や人工物が多く扱われてきているが、特に、流体状の自然現象の扱いは稀である。また、対象の大局的な画像特徴によるモデルが多く、環境外乱や対象の変形自由度が高い場合は精度が低下することが課題である。そこで本論文では、高精度な実環境センシングを実現するために、局所的な画像特徴に基づいたフロー推定法と画像予測法を提案することを目的としている。

第2章では、フロー推定法の中の勾配法におけるHorn&Schunck(HS)法に着目し、フローの滑らかさの拘束条件に対する重み係数に関して局所的な画像特徴に基づいた最適化法について提案している。従来法では画像全体で一つの重み係数が経験的に設定されてきたが、提案手法ではフーリエ変換に基づいたテクスチャ解析法に着目し、正弦波画像に基づいた局所的な最適化法を提案している。実験において、提案手法による局所的な画像特徴に応じた複数の重み係数を用いることでフロー推定精度が2倍近く向上することを示している。

第3章では、環境外乱や対象間で見え隠れがある場合において、輝度変動モデルとフローの局所的な平行性の拘束条件と、外れ値の影響を抑制するロバスト推定法に基づいた目的関数を提案している。実験では降雪により見え隠れが生じている交通シーンを用い、大局的な画像特徴に基づいた従来法では得られなかった走行車両のフローが明瞭に得られることを示している。

第4章では、局所的に変形自由度の高い画像に応じたフロー推定を実現するために、物理的な表現として波生成理論から導かれる波物理モデルに基づいた目的関数を提案している。実験では局所的な表面形状やテクスチャの変化が著しい水面画像を扱い、大局的な画像特徴に基づいた従来法では得られなかった急激に変化するフローが提案手法により得られることを示している。

第5章では、変形自由度のある実画像を時空間的に外挿して画像をリアルに生成・予測するために、物理モデルに基づいた画像予測関数を勾配法の基本拘束式より導出している。また、フローの変化の違いに応じた予測モデルを提案している。さらに、画質と数値解法の関係を解析を行い、画質の劣化を2倍近く抑制できるCIP法の効果を示している。実験では従来からのメッシュモデルで困難であった流体状の物理的な移動と変形に関する表現が提案手法により高められることを示している。

第6章では、時系列画像からの局所的な画像特徴に基づいた短時間先の画像予測について述べている。これまでは時系列画像の学習、画像圧縮を介した大局的な画像特徴を用いていたため画質の低下が生じていたが、提案手法では画像圧縮せずに画像間から局所的なフローを推定し、さらにフローと輝度をもつ画像予測関数により画像の予測精度を4倍近く改善できることを示している。

第7章は、時系列画像からの局所的な画像特徴に基づいた長時間先の画像予測について述べている。気象レーダ画像の長時間予測問題を扱い、従来法が一定画像領域ごとに線形外挿していたのに対して、提案手法では局所的な輝度とフローの双方を時空間的に予測変化させることで、予測精度が30%以上向上することを示している。

第8章は結論であり、本論文で得られた成果についてまとめている。

以上、本論文では、高精度な実環境画像センシングを実現することを目的とし、局所的な画像特徴に基づいたフロー推定法と画像予測法を提案している。まず、フロー推定法では、重み係数の最適化法、見え隠れのある画像や急峻な流れがある画像からフローを推定するための新しい目的関数を創出している。次いで、画像予測法では、実画像からリアルな画像予測できる新しい画像予測関数を導出している。特に、長時間予測では気象予報システムとして商用化を実現し、数多くのユーザの生活に役立つ予報が配信されるようになっている。

本論文の成果は、実環境画像に対するフロー推定法と画像予測法の有用性と有効性を示すものであり、画像センシングの基盤技術の構築に貢献すると同時に、扱いづらいとされてきた実環境画像に基づいた多くの工学的な応用に寄与するものである。

よって本論文は博士(工学)の学位請求論文として合格と認められる。