動画像を用いるコンピュータビジョンの処理において、画像の動きであるオプティカルフローは基礎的な情報であり、その重要性から様々なオプティカルフローの検出手法が研究されて来た。オプティカルフローの検出手法に要求されることは、絶対的な検出精度をできるだけ高めることと共に、検出されたオプティカルフローの信頼性を評価するための適切な情報を提供できることである。これはオプティカルフローが画像の全てにおいて検出できるものではなく、何らかのパターンが存在する部分のみで検出できることに起因する。すなわち、画像の各部分でオプティカルフローの信頼性は異なるので、それを利用する処理はこの信頼性の変動を勘案するように構成する必要があるからである。従来の研究では絶対的な検出精度に主眼が置かれ、オプティカルフローの信頼性という問題に焦点が当てられることは少なかった。そこで本論文では、まず初めに信頼性の評価方法を議論する。

　オプティカルフローの検出では以下に示す画像の時空間勾配(E_x,E_y,E_t)とオプティカルフロー(u,v)の関係を表す近似式が基礎となる。

　画像上の小領域を考え、その中でオプティカルフローが一定とすると、最小二乗法によって次のようにオプティカルフローが計算できる。

　このuを最小二乗推定による推定値と考えれば、この推定値に見積もられる分散は

　となる。これをもってオプティカルフローの信頼性の情報とする。図1に示す動画像から実際に検出したオプティカルフローと、その中から信頼性のあるもののみを選択した結果をそれぞれ図2および図3に示す。例えば道路のアスファルトの部分のような誤った結果が除かれている(第2.2節)。

　静止環境中を移動するカメラによって得られる画像のオプティカルフローが知れると、カメラの運動と画像中の物体の相対的な形状が復元できることが知られている。しかし従来の研究では先に述べたオプティカルフローの信頼性の問題を適切に勘案していないため、実際の画像から形状を復元した例は少ない。本論文では、この形状復元問題を統計推定問題として定式化することでオプティカルフローの信頼性を正しく評価し、実用的な形状の復元が行えることを示す。また、この形状復元の結果を利用する段階では、オプティカルフローの検出で述べたのと同様、結果の信頼性の評価も重要な問題である。本論文ではこの評価方法も示す。

　カメラの並進速度v、回転速度および画像上の点に写っている物体までの距離が与えられるとその点でのオプティカルフローが決まる。いまの観測値をとし、それに含まれる誤差の共分散行列をV[]とすると、カメラの速度と物体までの距離の推定値は以下の最小化問題の解として与えられる。

　また、推定値の分散はを推定値の周りで線形近似することで計算する。図2および図3に示したオプティカルフローから計算した距離情報(物体形状)を図4に示す。樹木などの形状が妥当に復元されているが、オプティカルフローが不正確な部分やカメラの進行方向(画像中央)に対応する部分では誤った形状となっている。これらの部分では正しい復元が原理的にできない。図5は推定された距離情報の分散を用いて信頼性のある部分のみを選別した結果であり、不正確な形状の部分が除かれている(第3.1節)。

　次に静止環境中を移動する物体を撮影した動画像を用いて、その移動物体を検出することを考える。カメラが静止している場合には、オプティカルフローの原因は移動物体によるものと結論できるので、その検出は比較的容易である。しかしカメラ自身も運動する場合には、カメラの運動によってもオプティカルフローが生成されるので、移動物体の検出は困難になる。本論文では、前述のオプティカルフロー解析手法を応用し、カメラも移動する場合に移動物体検出を行う一つの方法を示す。

　一般に物体の運動は相対的なものであるから、移動物体が剛体であれば、その物体と静止環境を運動によって区別することはできない。しかし、移動物体が画像中で占める面積が画像全体に対して小さいと仮定できる場合、その動画像に対して前述の解析手法を適用すると、全体のオプティカルフローから計算されるカメラの運動パラメータはほぼ静止環境に対する値になる。その結果、移動物体の領域では、推定された運動パラメータから静止環境を仮定して予想されるオプティカルフローと観測されるオプティカルフローの間に矛盾が生じるのが普通である。この矛盾の一つは次式に示すオプティカルフローの信頼性を考慮した二乗誤差で測ることができる。

　また、推定される距離情報が負になることも別の種類の矛盾である。これら、想定される矛盾を総合して移動物体の判定を行う。図6は結果の例であり、移動物体(対向車)と判定された部分が濃度の濃い部分で示されている(第3.2節)。

　以上ではオプティカルフローの検出・解析において、それぞれの処理で計算される結果に加え、その信頼性をも適切に処理することをテーマにした。以降はオプティカルフローの検出において、処理に含まれる誤差を適切にモデル化し、精度の高い結果を得ることをテーマとする。

　先に述べたオプティカルフロー検出処理では、式(1)を基礎とした最小二乗法(2)でオプティカルフローを求めた。この計算を統計的に見ると、画像の時間微分値E_tのみに大きさが一定の正規分布をする誤差が加わるとして最尤推定を行っていることと等価である。しかし実際の時空間勾配は、その全ての値がデジタル画像から差分によって計算される。したがって時間微分値E_tのみでなく空間微分値(E_x,E_y)にも誤差を仮定した方がより現実に近いと考えられる。ある限定された状況では時間微分値E_tのみに誤差を仮定することの妥当性はあるが、より一般的な状況で有効な手法として全ての時空間微分値に誤差を仮定するオプティカルフローの計算方法を考える。

　画像の時空間勾配(E_x,E_y,E_t)に加わる誤差を(E_x,E_y,E_t)とする。この場合、式(1)に対応する関係は次式で表される。

　誤差(E_x,E_y,E_t)の分布を3次元正規分布とし、その共分散行列をV_∈とすると、オプティカルフローは以下の最小化問題の解として計算される。

　ただしここではu＝(u 〓 〓)^Tと置いた。また(・,・)は内積を表し、行列Mは画像上の点で観測された時空間勾配ベクトルを用いて

　で計算さ〓〓。最小化問題(8)はMのV_∈に関する一般固有値問題を解くことによって得られる。実際の画像による実験により、全ての時空間微分値に誤差を仮定するこの手法は、時間微分値のみに誤差を仮定する方法に比べて、特に微小なオプティカルフローの検出精度に優れることが示された(第2.3節)。

　以上でオプティカルフローと画像の時空間勾配の関係における誤差を考察したが、この誤差は、カメラなどの撮像機器が異なればその性質も異なるものと考えられる。したがって検出精度の更なる向上のためには、撮像機器固有の誤差特性を測定し、その結果に基づいてオプティカルフローを計算すべきと考えられる。最後にこの問題について考察する。

　いま校正用の動画像として真のオプティカルフローが既知の動画像が与えられたとし、それを使用して撮像機器の誤差を測定することを考える。この場合、真の時空間勾配値が不明のため、式(7)の形の誤差は決定できない。そこで時間微分値E_tのみに誤差E_tを仮定するが、その誤差の平均と分散が空間微分値(E_x,E_y)およびオプティカルフロー(u,v)に依存するというモデル化を行う。式(1)に対応する関係は次式となる。

　実画像を用いたシミュレーションにより校正用の動画像を作成し、それにより誤差E_tを計測すると、その平均mと分散²はc₁,c₂,c₃を定数として次式でモデル化が可能であった。

　またこれに含まれる定数は、画像の種類に対してある程度の普遍性があった。このようにして決定された誤差モデルを基に最尤推定法を構成し、オプティカルフローを計算する。検出精度を従来の手法と比較した結果、計算されるオプティカルフローの誤差の偏差・分散ともに減少することが確認された(第2.4節)。

図1.実験に用いた動画像

図2.オプティカルフロー

図3.信頼性のあるオプティカルフロー

図4.物体形状

図5.信頼性のある物体形状

図6.移動物体領域

　人と同じように画像を通して外界の状況を認識する視覚システムの構築は,より高度で柔軟なロボットの実現などの基礎となる工学上重要な課題である.なかでも,画像中の動きの情報から外界の立体構造を復元する技術は,環境に操作を加える必要がないという利点をもつため多くの期待を集めてはいるが,その技術は未だに実用からはほど遠い段階にある.そのために解決しなければならない問題はいくつもあるが,その中で画像中の動きを正確に検出することは主要な未解決課題の一つである.本論文は,この課題に挑戦したもので,「信頼性情報を伴ったオプティカルフロー検出・解析技術の研究」と題し,4章からなる.

　第1章「序論」では,まず,オプティカルフローの検出と解析の歴史について概観している.特に,情報の検出精度を高める努力は精力的になされているものの,得られた情報の信頼性を評価するための方法については十分な検討がなされてこなかった点を指摘している.オプティカルフローは画像中にたまたま存在するテクスチャなどの動きの手がかりを利用してはじめて検出できるものであるため,画像全体にわたって同質の情報が検出できるわけではない.したがって,画像のどの部分のオプティカルフローが信頼できるのかを知ることは応用上非常に大切である.この観点からの研究が乏しかったというそれまでの状況を反省し,これを補うために信頼性情報を伴った形でオプティカルフローの検出と解析を行なうという本研究の目的・立場を明らかにしている.

　第2章は「オプティカルフローの検出」と題し,動画像からオプティカルフローを検出する際の三つのノイズモデルを検討している.そして,それらに基づいたオプティカルフロー検出手法と信頼性評価法を構成して,その性能を実験的に評価している.オプティカルフローの検出の基礎となるのは,画像の各点における濃度勾配と速度ベクトルの内積が,その点における濃度の時間変化速度に一致するという仮定である.この関係式におけるノイズの現れ方にはいくつかの形が考えられ,そのノイズのもとでの推定法という形式でオプティカルフロー検出手法を構成している.

　第一のノイズモデルは,従来から暗に考えられてきたもので,そこでは画像中の濃度の時間変化速度に大きさ一定の正規分布のノイズが加わるものと仮定される.この仮定のもとでの最尤推定によって,オプティカルフローを検出し,推定値の分散を信頼性をはかる指標とすることを提案している.そして現実の画像に基づいて調べた結果,穏やかに変化するテクスチャに覆われている部分でこのノイズモデルがよく当てはまることを見い出している.またこの手法を移動中の車の窓から撮影した動画像に適用し,オプティカルフローが信頼性高く得られた領域とそうでない領域を峻別できるという本方法の有効性を確認している.

　第二のノイズモデルは,画像中の濃度の時間変化だけでなく,濃度勾配自身にも一定の正規分布ノイズが加わると仮定するものである.この仮定のもとで最尤推定によってオプティカルフローを検出する手法を構成し,これによって第一のノイズモデルより精度のよい検出ができることを人工的な動画像で確認している.

　第三のノイズモデルは,画像中の濃度の時間変化に,その点での速度と濃度勾配に依存したノイズが加わると仮定している.そしていくつかの画像を使って,ノイズの平均と分散を速度と濃度勾配の関数として実験的に求めている.この場合にはノイズ分布が指数分布族にすら入らないが,ノイズが正規分布であると仮定した場合の最尤推定の手続きを形式的に適用するという形のオプティカルフロー推定法を構成している.また,実験的に求めた関数形が特殊な形をした場合に,推定手続きが簡単になることも指摘している.

　第3章は,「オプティカルフローの解析」と題し,オプティカルフローから対象の立体構造とカメラの動きを復元する方法を考究している.カメラの並進速度,回転速度,画像上の各点に対応する外界の物体までの距離がすべてわかれば,その点のオプティカルフローが決定できる.ここで解くべき問題はその逆であって,与えられたオプティカルフローからそれをもたらしたカメラの運動と対象までの距離を推定しなければならない.このとき,カメラの動きが画像中のすべての点に対して共通であるという事実を利用することによって,多くの点でのオプティカルフローから総合的に運動と距離を検出できる.ここでは,まず与えられたオプティカルフローに平均0,分散一定のガウスノイズが加わると仮定し,やはり最尤推定法によって運動と奥行きを推定し,さらにその推定値の分散をもって,決定した値の信頼性を表す尺度としている.そして,この方法を用いると,テクスチャが少ないために形状が確定できない部分を認識できること,高速道路を走る車の窓を通して撮影した画像から,まわりの地形と,前方を動いている車とを区別して復元できることなどを示している.

　以上を要するに,本論文は,検出精度の向上のみに重点の置かれていた従来のオプティカルフロー検出・解析方法の研究状況を反省し,検出された情報の信頼性を知ることの重要性を指摘した上で,それを実現する方法を提案したものである.コンピュータビジョンの複雑な処理を実現するために多くのモジュールを組み合わせる際に,それぞれのモジュールの出力がその信頼性情報を伴っていることの利点は非常に大きく,本研究は数理工学の発展に大きく貢献するものである.よって博士(工学)の学位論文として合格と認める.