本論文は時間相関イメージセンサーを利用し,対象の速度計測を行った.また,それを運動によりぼやけた画像の復元や特定したターゲットへのトラッキングに応用した.

動画像から対象の動きのパラメータを推定する方法の研究は,既に1970年代から始められている.その応用は,対象や撮像系の動きの検出と追跡,対象の背景や他物体からの分離と三次元運動の決定,流体の流れ場の計測など多岐にわたり,その方法は,フレーム間のパターン整合,画像の時空間勾配の利用,時空間周波数フィルタリング,これらの大域的最適化による高精度化,多重解像度分解による高速化など,これも多種多様の方法が研究されてきた.

パターンの速度を計測する手法の一つに空間フィルター法は一様並進するパターンの速度を計測する工学的な一手法であり,平行スリットを像面に重ねて空間積分して得られた時系列信号に周期構造が見出され,それがスリットに垂直な速度成分を反映している.並進パターンの時空間周波数領域での分布を考慮することで空間フィルター法はより一般的に定式化されている.この方法はいくつかの問題点が知られている.1) パターンに空間フィルターに応答する空間周波数成分が含まれない場合,この方法を適用できない.2) フーリエ変換とする積分範囲が広く,その範囲内で対象の速度は一様でなければいけない.すなわち,速度ベクトルは時間的にも空間的にも一様と仮定する必要がある.したがって,対象速度の空間的な分布を測定するには適用できない.これらの問題は後述の時間相関イメージセンサーを利用し,時間軸と空間軸を交換することで解決される.

また,時空間微分から推定する方法では,像点の明るさの移動不変性を記述する時空間微分方程式であるオプティカルフロー制約式を利用する.ただし,オプティカルフローとは,3次元中の運動物体が2次元平面に結像して生じる明暗の動きを指す.しかし,2個の未知数に対して1本の式しかありませんので情報として十分ではない.よって,速度ベクトル決定に要する自由度を補うために滑らかさなどの拘束条件を導入する.また,精度と速度測定レンジを向上するための座標変換や多重解像度化,時間的連続性の活用など,多くの関連研究がある.しかし,偏微分を求めるには離散的な差分演算で近似する必要があり,その中で特に時間差分の計算には連続2フレーム以上の画像を必要し,連続フレーム間で移動量が大きい場合、その近似が破綻するなど悪影響が甚大となります.本論文はそれらの問題に踏みたまえ,解決策を提案した.

特殊なセンサーの開発と応用もこの分野で重要であり,多くの試みがなされている.アナログ電子網膜,スマートピクセル,ビジョンチップやそれらの応用などである.我々も,多種多様な2次元センシングと映像化に活用可能な汎用の撮像デバイスとして三相時間相関イメージセンサー(3PCIS)を開発してきた.3PCISでは,時間変化する入射光と任意の2自由度の外部参照信号との1フレームにわたる時間相関が全画素上で形成される.その特徴を生かし,実時間測光ステレオ,三次元計測,2次元エリプソメトリ,磁気光学映像法など,さまざまな分野にこのデバイスを適用してきた.

本研究の目的は,3PCISによって取得される新たな画像情報をオプティカルフロー検出に活用することにある.これまで試みられてきた3PCISの応用は,移動格子投影や回転照明, 交流励磁など,測定対象に特定の入力を与えて応答を相関検出するものであった.これに対してオプティカルフロー検出は受動的であり,対象への働きかけはできない.そこで我々は参照信号を与えたときに相関画像が捉える新たな情報に着目する.この結果,複素正弦波参照信号に対して,従来の時空間微分方程式を拡張する有益な関係式(オプティカルフロー恒等式)が見いだされる.この関係が時間を含まずに厳密に成立することから,これまでのオプティカルフロー検出法の欠点であった時間軸方向の差分を必要とせずに単一フレームのみでピクセルごとに対象の速度ベクトルを復元でき,フレーム間差分近似の精度に由来する対象速度の制限も取り除かれる.実験的にも時間相関イメージセンサーを用いることで,従来のOFC方法の適用速度範囲より大幅に超えた速度場でも,単一フレーム画素近傍ごとでの対象のオプティカルフローを復元可能なことを示した.また,その結果は従来のOFC手法より安定性を増し,精度も大幅に向上可能である.さらに,オプティカルフロー推定の方程式は2本あり,連続な積分形式の観測ゆえ,開口問題においても従来法のOFCを用いる局所最小2乗法より速度場を決定できる可能性が高まることが示された.

さらに,この方法の拡張を考え,有限区間に時空間フィルターによりオプティカルフローの厳密解法を導いた.これは区間空間フィルター法の拡張でもある.本論法では,時空間微分での三つの中,必要に応じ,任意のいくつかを消すことができ,いままで,オプティカルフロー推定の誤差要因のひとつに差分近似は必要としない.また,それらの精度に由来する対象の速度制限が除かれる.

オプティカルフロー推定の応用例として,ぼやけた画像の復元アルゴリズムを提案した.動きによりぼやけた画像の復元に関しては,ウインナーフィルターなど,様々な研究が行われており,大きな成果が挙げられている.近年では,モーションブラーが発生しにくい毎秒何千フレームに至る高速ビジョンセンサーが開発されている.しかし,高速であるためにビジョンセンサーから出力される情報量は膨大なものになってしまう.一方で,われわれは時間相関イメージセンサーを用いた変調撮像法により,強度画像と相関画像を利用し,対象のフレーム開始時刻と終端時刻の瞬時画像を復元する手法を提案する.さらに,この手法では,画像復元と同時に,オプティカルフローを再構成することが可能である.これによって,2枚の静止画像の点の対応付けは出来ることに意味する.実際,実験では,静止画像とオプティカルフローを同時に得ることを示した.さらに対象の運動速度に影響されないことも示され,これらのことから実系列静止画像を取得する可能性があることになった.

オプティカルフロー推定のもう一つの応用例として,特定ターゲットへのトラッキングシステムを提案した.室内環境では,我々は時間相関イメージセンサーに高い周波数の参照信号を用いたが,同じ周波数で点滅するLED以外の対象は時間相関イメージセンサーの相関画像に写らないことになる.その性質を利用し,ターゲットにLEDをつけ,LEDをトラッキングすることにした.しかし,室外では,特定のLEDを取るのは困難であるため,時間相関イメージセンサーで推定したオプティカルフローを利用し,トラッキングを行った.実験結果では,室内と室外環境で全フレームにおいて共にリアルタイムで追跡できた.また,実験的にも理論的にも,室外環境では日射による明暗変化や対象の運動速度に影響されないことを示した.

オプティカルフローとは,運動する対象を撮像した際に像上に表れる明暗の流れ場のことであり,その計測には,三次元立体検出,画像認識,流体の流速分布計測などの幅広い応用がある。しかし,従来法には空間・時間解像度の制約,開口問題,理論的近似による誤差などの多くの問題点があり,十分満足すべき方法は未だ確立されてはいない。本論文は,近年実用化に向けて開発が進められている時間相関型イメージセンサをオプティカルフロー検出に導入し,これにより可能になった複素変調撮像法を理論的に定式化してオプティカルフローの直接代数解法を導出し,それを数値シミュレーションと実機実験によって確認するとともに,この方法論の理論的拡張と応用に向けた展開を通して,運動物体の検出と解析に新しい可能性を示したもので,全体で10章から構成されている。

第1章の序論においては、オプティカルフロー推定の問題の概要を紹介し,近年の高機能イメージセンサ研究の流れに言及しつつ,本論文の基調をなす理論的研究と新しい撮像原理の研究の一体化による問題解決の重要性を論じている。

第2章は「従来のオプティカルフロー推定アルゴリズム」と題し,空間フィルタ法とオプティカルフロー制約式に基づく方法に関して基本原理を紹介し,空間的な解像度や対象のパターンに関する制約,速度場の滑らかさの要求,微分の差分による近似誤差などの問題点を示し,これらを解決することが本論文の主題であると述べている。

第3章は「時間相関イメージセンサと複素正弦波変調撮像法」と題し,時間相関イメージセンサに一定周波数の三相参照信号を供給しつつ運動する対象を撮像する複素正弦波変調撮像法を導入し,いくつかの撮像例を示すとともに,その情報変換構造を数式化し時空間周波数空間で基本的な性質を示している。

第4章は本論文の中心をなす章であり,「時間相関イメージセンサを用いたオプティカルフロー計測」と題し,オプティカルフロー偏微分方程式の有限時間荷重積分によって速度ベクトルの厳密な代数方程式を得る独自の方法論を展開している。具体的には,前提となる偏微分方程式とその荷重積分との同値条件を示し,次に複素正弦関数を荷重関数に用いて得られる代数方程式においては多くの荷重積分と積分境界値が同一となることを示し,結果として時間相関イメージセンサの単一画素,単一フレームのみによって速度場が決定できることを証明している。さらに開口問題の条件を導いて従来法に対する改善点を明示し,さらにこれらを数値実験と実機実験により確かめている。

第5章は「オプティカルフロー恒等式の諸性質」と題し,前章で導いた新しい方法論に関する諸性質を理論と実験により調べている。具体的には,最適な参照信号周波数の選択方法,正弦波以外でオプティカルフローを計算可能な参照信号の条件,直流と他の1周波数のオプティカルフロー拘束式が速度場決定の必要条件を与えることの証明などである。

第6章は「時空間荷重積分による厳密解法」と題し,荷重積分の方法論を空間方向の積分に拡張し,同じく厳密代数解法が得られることを理論的に示している。

第7章は「異なる運動の合成画像のオプティカルフロー」と題し,提案する方法論を二つの異なる運動対象の明暗の和のオプティカルフロー検出に拡張し,同じく厳密解法が得られることを示し,数値シミュレーションによる確認の結果を報告している。

第8章は「アプリケーション1:ボケた画像の復元」と題し,速度場と同時に決定される積分境界値を利用して,フレームの前端時刻と後端時刻の静止画像を再構成するアルゴリズムを提案し,数値実験と実機実験による検証結果を報告している。

第9章は「アプリケーション2:追跡」と題し,提案する方法を動き回る人の追跡へ応用し,実験結果を報告している。室内においては明度変調されたLEDの同期検出により精密に追跡し,室外ではオプティカルフローにより粗く追跡している。

第10章は結論であり,以上の成果を総括し将来の発展方向を論じている。

以上,要するに,本論文は,時間相関イメージセンサを利用する複素正弦波変調撮像法の方法論を確立し,これまでのオプティカルフロー検出法の欠点の多くが克服可能であることを示すとともに,空間方向へ理論的拡張,複数の運動の分離やボケた画像の復元などへの展開について論じたもので,本研究で展開された方法論は今後の計測技術・画像処理技術の発展に大きな波及効果が期待でき,システム情報工学上の貢献が十分にあると判断される。よって,本論文は博士(情報理工学)の学位請求論文として合格と認められる。