社会的な防犯意識の高まりと共に,監視カメラの普及が進んでいる.監視カメラの設置による犯罪の抑止効果は証明されつつあるものの,大量の監視カメラ映像を常に人手で監視することはもはや現実的ではなく,監視カメラ映像は,事後の参照のために一定期間保存された後,破棄される場合が多い.これに対して,監視カメラ映像を自動解析し,人物行動の計測が可能となれば,不審者の検出・発報や,POS データでは分からない顧客の購買行動などの情報を抽出できると考えられる.また,人物行動の計測結果に基づいたインタラクティブ広告や空調器機の制御など,広範な分野への応用が期待され,社会的意義も大きい.

一方で,公共施設や商業施設などで人物行動を計測する場合,センサの設置の制約や,障害物や人物相互による遮蔽,プライバシの問題などから,エリア全体で安定した観測を得ることは難しい.そのため,環境に疎密に分散配置されたセンサ群を用いて特定エリア全体の人物行動を計測する技術が求められている.

そこで,本研究では,スーパーやコンビニエンスストアなどの数人~20人程度の人物が同時に存在する空間に着目し,監視カメラ映像に基づいて人物頭部の三次元位置及び向きを計測する手法を提案する.また,監視カメラで観測されない領域を含む特定エリア全体においては,人物動線を計測する手法について取り組む.

第2章では,監視カメラ映像を想定し,視野を共有した複数のカメラにより人物頭部の三次元位置と向きを追跡する手法を提案する.監視カメラなどの画像センサによる人物追跡では,人物が必ずしもカメラに対して一定方向を向いていないために起こる見えの変化の問題や,広い範囲を観察することにより頭部が低解像度で観察される問題,昼間と夜間などの照明変動の問題,さらに店舗内の商品棚などの複雑な背景の問題などの課題がある.

これらの課題に対して,識別器を用いた顔検出技術を時系列フィルタによる追跡の枠組みに統合することで,頑健かつ高精度に人物頭部を追跡する手法を提案する.矩形特徴を用いたAdaBoost学習による識別器は,その精度と頑健性から,静止画像中の顔検出に広く用いられている.しかし,識別対象の大きさをさまざまに変化させながら,画面全体を探索することは追跡の枠組みにおいては効率的ではない.そこで,時系列フィルタの一つであるパーティクルフィルタにAdaBoost学習による識別器を統合し,人物頭部の三次元位置と向きを追跡する.具体的には,パーティクルフィルタによって予測された仮説に対応した画像領域を,識別器によって評価する.このとき,人物頭部は実際の向きやカメラとの位置関係により,その見えが変化するため,頭部の各方向に対応した識別器をあらかじめ準備し,複数のカメラによりさまざまな方向で観察される人物頭部に対し,識別器を適応的に選択して評価する.これにより,人物頭部の三次元位置と同時に,向きを推定できる.多くの検証実験から,提案手法の優位性を確認した.

第3章では,スーパーやコンビニエンスストアなどの実環境を想定し,複数人物の追跡を行う手法を提案する.実環境での人物追跡では,人物の出現に対する追跡初期化という本質的な課題がある.また,監視カメラなどのセンサの設置には位置や姿勢などの物理的な制約により,理想的な設置状況を実現できない場合も多く,障害物や人物相互の遮蔽などによる観測不能状態が頻繁に起こると予想される.そのため,実環境では,観測不能により追跡が失敗した場合でも,良好な観測が得られた時点で,速やかに追跡を再開する枠組みが求められる.

これに対しては,新たにレーザ測域センサを導入し,エリア内での人物の出現を検出することで,頑健に追跡初期化を行う手法を提案する.複数の人物頭部は,パーティクルフィルタの拡張であるMixture Particle Filter により追跡し,状態遷移モデルとレーザ測域センサによる人物検出位置を統合した確率密度分布から仮説を生成することで,カメラ画像による追跡にレーザ測域センサを統合する.これにより,エリア内に人物が出現した時点で速やかに追跡を開始し,人物同士がすれ違うなどの遮蔽により追跡が失敗した場合でも,良好な観測が得られた時点で,速やかに追跡を再開できる.さらに,レーザ測域センサを導入することで,単眼カメラによる観測においても,安定な三次元追跡を実現し,分散配置されたセンサ群のさまざまな組合せによる三次元人物追跡を可能とした.

第4章では,複数観測領域間で観察される人物動線の対応付けの問題を扱う.エリア内全体を通じて,連続した人物動線を計測するためには,障害物や人物相互による遮蔽により断片化した人物動線や,複数観測領域間における人物動線を対応付ける必要がある.

環境に分散した観測領域では,異なる2地点で同時に同じ人物は観察されないという事実や,ある程度離れた観測領域間では,その間の旅行時間を予想できるなどの時間的空間的な尤もらしさ(時空間的尤度)を考えることができる.そこで,先行研究にならい,想定される多くの人物動線の対応から,尤もらしい人物動線の組を,観察された見えの類似性と,時空間的尤度から,グラフの最適化手法を利用して探索する.具体的には人物動線の出現・消失をノードとし,対応をエッジとして扱うことで,尤もらしい人物動線の組を重み付き2部グラフの最大マッチングにより取得した.

第5章では,エリア内全体における連続した人物動線の取得のため,観測領域外の人物動線を補間する手法を提案する.先行研究において,観測情報と運動モデルから,観測領域外を含む人物動線を最大事後確率推定により求める手法が提案されているが,室内の机や壁などの障害物の配置を考慮していないため,推定した人物動線が壁を突き抜けてしまうなどの問題があった.

これに対して,環境の制約条件を導入することで,観測領域外においても,尤もらしい人物動線を推定する手法を提案する.具体的には,人物の運動モデルとカメラによる観測モデルに加えて,環境形状から予測される人物の存在確率モデルを最大事後確率推定の枠組みで統合し,人物動線の尤もらしさを評価する関数を構築する.そして観測された一部の人物動線を用いて,評価関数の最適化を行うことで,観測領域外を含む人物動線を推定した.

第6章では,全体を総括し,今後の課題と展望について述べる.

本論文は「分散センサの統合によるエリア内人物追跡と動線推定」と題し,エリア内に疎密に分散配置されたセンサ群の統合利用による人物追跡と動線推定を行う手法をまとめたものであり,6章で構成されている.

第1章では,本研究の背景として,監視カメラの普及と,その映像の自動解析による人物行動の計測の有用性を述べている.そして,本研究の目的として,監視カメラを想定した画像センサによる人物追跡とエリア全体を通じた人物動線の推定を挙げ,課題の整理を行うとともに,本論文の構成をまとめている.

第2章では,監視カメラ映像を想定し,視野を共有した複数のカメラにより人物頭部の三次元位置と向きを追跡する手法について述べている.監視カメラなどの画像センサによる人物追跡では,人物が必ずしもカメラに対して一定方向を向いていないために起こる見えの変化や,広い範囲を視野とすることによる低解像度での観察,昼間と夜間などの照明変動,さらに店舗内の商品棚などの複雑な背景などの課題がある.これらの課題に対して,時系列フィルタの一つであるパーティクルフィルタにAdaBoost学習による識別器を統合することで,人物頭部を頑健かつ高精度に追跡している.また,人物頭部は実際の向きやカメラとの位置関係により,その見えが変化するため,頭部の各方向に対応した識別器をあらかじめ準備し,複数のカメラによりさまざまな方向で観察される人物頭部に対し,識別器を適応的に選択して評価することにより,人物頭部の三次元位置と同時に,向きを追跡している.さらに,多くの検証実験から,提案手法の優位性を確認している.

第3章では,実環境への適用を想定し,複数人物の追跡を行う手法について述べている.実環境での人物追跡では,人物の出現に対する追跡初期化という本質的な課題がある.また,監視カメラなどのセンサは,物理的な制約により理想的な設置状況を実現できないことが多いため,障害物や人物相互の遮蔽などによる観測不能状態がしばしば起きる.これに対して,観測不能により追跡が失敗した場合でも,良好な観測が得られた時点で,速やかに追跡を再開するアプローチに基づき,レーザ測域センサの統合によりエリア内での人物の出現を検出することで,頑健に追跡初期化を行う手法を提案している.複数の人物頭部は,パーティクルフィルタの拡張であるMixture Particle Filter により追跡し,状態遷移モデルとレーザ測域センサによる人物検出を統合した確率密度分布から仮説を生成することで,カメラ画像による追跡にレーザ測域センサを統合している.これにより,エリア内に人物が出現した時点で速やかに追跡を開始し,人物相互の遮蔽により追跡が失敗した場合でも,良好な観測が得られた時点で,速やかに追跡を再開できる.さらに,単眼カメラによる観測においても,安定な三次元追跡を実現し,分散配置されたセンサ群のさまざまな組合せによる三次元人物追跡を可能としている.

第4章では,複数観測領域間で観察される人物動線の対応付けの問題について述べている.エリア内全体を通じて,連続した人物動線を計測するためには,障害物や人物相互による遮蔽により断片化した人物動線や,複数観測領域間における人物動線を対応付ける必要がある.これに対して,環境に分散した観測領域間において,観察される見えの類似性に加えて,時間的空間的な尤もらしさ(時空間的尤度)を考えることで,想定される多くの人物動線の対応から,尤もらしい人物動線の組を,グラフの最適化手法を利用して探索している.最適化では,人物動線の出現・消失をノードとし,対応をエッジとして扱うことで,尤もらしい人物動線の対応付けを,重み付き2部グラフの最大マッチングを求める問題に帰着させ,Edomondsの手法により解くことで人物動線の対応付けを得ている.

第5章では,エリア内全体における連続した人物動線の取得のため,観測領域外の人物動線を補間する手法について述べている.観測情報と運動モデルから,観測領域外を含む人物動線を最大事後確率推定により求める先行研究に対して,室内の机や壁などの障害物の配置が考慮されていないという問題点を指摘し,環境の制約条件を新たに導入することで,観測領域外においても,尤もらしい人物動線を推定する手法を提案している.人物の運動モデルとカメラによる観測モデルに加えて,環境形状から予測される人物の存在確率モデルを最大事後確率推定の枠組みで統合し,人物動線の尤もらしさを評価する関数を構築し,観測された一部の人物動線を用いて,評価関数の最適化を行うことで,観測領域外を含む人物動線を推定している.

第6章では,全体を総括し,今後の課題と展望について述べている.

以上これを要するに,本論文では,エリア内に疎密に分散配置されたセンサ群の統合利用による人物追跡と動線推定の問題に対し,時系列フィルタと識別器の統合よる追跡手法,レーザ測域センサと画像センサの統合による頑健な複数人物追跡手法,時空間的尤度と見えの尤度を用いたグラフ最適化による複数観測領域間の人物対応付け手法,環境の形状情報を用いた観測領域外動線推定手法を提案し,その有効性を実験により示したものであり,電子情報学上貢献するところが少なくない.

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.