1.背景と目的

近年,セキュリティやマーケティング,コンテクストアウェアサービスへの応用を目的として,人物追跡技術に関する研究が盛んに行われている.こうしたアプリケーションに共通して必要とされる基本的な情報が「個人の識別情報(ID)付きの連続的な軌跡データ」であり,移動する人間を途中で途切れずに継続的に追跡ができる技術が望まれている.これまで,CCDカメラやレーザスキャナなどさまざまなセンサを利用して人物追跡や行動認識に関する研究が行われてきたが,継続的に追跡することは困難な場合が多い.例えば,駅のような混雑した環境では,人同士の重なりによって隠蔽が発生することが避けられないし,隠蔽が生じないように多数のセンサを高密度に配置することは費用的に困難なことが多い.結局,追跡が途中で失敗し軌跡が途切れてしまうことを前提に,それらをできるだけ精度よく接合する(復元する)技術が重要になる.途切れた軌跡を接合する方法は,個々の人物追跡システムにおいてそれぞれアドホックに実装されているが,さまざまな場合に適用可能なより汎用性の高い手法は開発されていない

本論文の目的は,複数の異なるセンサ情報を用いて,追跡の失敗によって生じた断片化軌跡を復元する汎用性の高い手法を開発することである.

2.異種センサの統合による断片化軌跡の復元処理の概要

本研究で使用するセンサとして,レーザスキャナ,カメラ,人感センサ,IDタグリーダを想定しており,各センサから得られる情報と全体の処理の流れを図 1に示す.各センサの情報は「断片的軌跡情報」と「個人特徴」として集約され,個々の情報が対応づけられており,それらを統合して断片化軌跡間の結合可能性を評価し,事後確率を最大化する軌跡の組み合わせを求める.

マルチレーザスキャナを用いた人物追跡

本研究における歩行者追跡技術として,複数台のレーザスキャナを用いた追跡システムを提案する.レーザスキャナは,カメラと比べて照明条件の影響を受けず,より高精度に移動体の位置の検出が可能なため,実環境においてより信頼性の高いデータが得られる. 図 2はJR駅コンコース(60m x 30m)にて8台のレーザスキャナを使用して実験を行った結果である.複数台のレーザスキャナを統合することで,計測領域の拡大,および隠蔽領域の緩和を実現している.混雑した時間帯(約1.0人/m2)では81.2%,通常時の時間帯(約0.4人/ m2)では88.9%の追跡精度を得た.

4.人感センサを援用したモンテカルロ・シミュレーションによる移動経路の推定

追跡処理によって得られた断片的軌跡情報を用いて人の移動予測モデルを学習し,軌跡の消失地点から出現地点までの移動経路を予測する方法を提案する.さらに,人感センサによる「人の有無データ」を重ね合わせることで,人の位置の予測精度を改善できることについて述べる.

移動予測モデルは,式(1)が示すように現在の位置 と現在の速度ベクトル が与えられたとき,次の速度 を予測する事後確率モデルとして定義する.

p(v'x,v'y|x,y,vx,vy) (1)

これをベイズ理論に基づき変形し,さらに極座標系に変換すると,式(1)は

p(V',A'|x,y,V,A)=p(V',A'|x,y)p(V',A'|V,A)/p(V',A') (2)

と表せる.ここで,式(2)の右辺第一項を「流動確率モデル」,右辺第二項を「歩行確率モデル」と定義する.流動確率モデルは,混合正規分布によって近似し,歩行確率モデルは正規化ヒストグラムとして近似する.それぞれの分布に対し,断片化軌跡情報を用いて学習した.

この事後確率モデルに基づいて逐次的にシミュレーションを行うことで,消失した軌跡の移動予測を行う.さらに複数の仮説(パーティクル)を用いることで,非線形な予測分布を表現する.任意の時間が経過した後のパーティクルの分布は,消失した軌跡の出現確率分布として表される.図 3は,分岐のある通路に対し,複数の移動経路が予測されていることを示している.

さらに,人感センサから得られる通過の有無に関する情報を利用することで,予測候補を絞り込む.図 4は,5つの人感センサを通路の途中に配置し,図 3と同様のシミュレーションを行った結果である.t=6秒のとき通路の上下方向に候補が分岐しつつあるが,t=11秒のときに人感センサによって上方向の候補が無いと判断され,下方向に予測候補が絞り込まれているのが分かる.

5.レーザとカメラの同時計測による人物の画像特徴の取得

ーザとカメラのハイブリッド計測システムにより,カメラから得られる人物画像を断片化軌跡に関連づける手法を述べる.まず,レーザとカメラの座標系を統合し,レーザによる追跡処理によって得られた人物の位置をカメラに重畳させることで,カメラ画像中の人物領域を抽出する.このとき,画像シーケンスの中で最も見えの良い画像(人物領域の画素数が多く,進行方向がカメラ側を向いている画像)をベストショット画像として保存し,断片化軌跡に関連づける(図 5).

斜め照射型レーザスキャナによる移動体の3次元計測手法

斜めに走査するレーザスキャナを用いて,その走査断面を通過する歩行者の体型(身長など)を計測する手法を提案する.歩行者が斜めの走査断面を通過する際,様々な高さの断面形状が得られる.そのときの水平レーザから得られる軌跡情報を利用し,歩行者の中心位置と移動方向に基づいて座標変換し,データを蓄積すると,歩行者の3次元情報が復元できる.人の身長や体格といった情報を個人特徴として,断片化軌跡に関連づける.

7.センサ情報の統合による断片化軌跡の同一性評価と復元

それぞれのセンサから得られた人の外観情報や身長情報,軌跡の出現予測分布に基づいて,断片化軌跡間の同一性の確率的評価を行い,組み合わせ最適化によって全体尤度を最大化することで軌跡を復元する手法を提案する.

一般的に,複数のセンサから得られる観測値から軌跡 間の同一性指標 が得られたとき,断片化軌跡の全組み合わせに対する事後確率は,式(3)のように表すことができる.

p(M|O)=II(meM)p(m(i,j)|O(i,j)) (3)

ただし, は軌跡 が同一人物なら1,非同一人物なら0をとるものとする.式(3)に対し,両辺に-logを付与すると,

-log p(M|O)=-Σlog(meM) p(m(i,j)|O(i,j)) (4)

と表される.ここで, を結合コストとして定義すると,式(3)の事後確率を最大化することは,結合コストの総和を最小化する組み合わせを求めることと等価となる.これは重み付き2部グラフの最大マッチング問題の枠組みで解くことができる.事後確率 は,各センサから得られる同一性指標に基づき,同一人物,非同一人物の組における教師データを用いて学習する.本研究では,各センサから得られる同一性指標として,軌跡消失後の移動予測に基づいた出現地点の予測尤度,人物画像間の類似性(Bhattacharrya距離),身長の差異といった情報が得られており,これらに基づいて結合コストを求めている.

8.ケーススタディ

提案手法の有効性を検証するために,東大柏キャンパスおよびJR駅コンコースにて実験を行った.柏キャンパスにおける実験は,水平レーザ8台,斜めレーザ3台,カメラ3台,人感センサ5台,IDタグリーダ5台を用いている.結合精度は,各断片化軌跡の結合先が真値と正しい数をカウントし,全体の結合数に対する割合を算出した.各センサの組み合わせを増やしていった場合と,水平レーザの台数を8台使用した場合と3台に減らした場合に対する結合精度を表 1に示す.この表から,使用するセンサを増やすと,結合精度も上昇傾向にあることが分かる.

また,JR駅コンコースにおける実験では,8台の水平レーザのみを用いており,同一性指標として軌跡消失後の移動予測に基づいた出現地点の予測尤度のみを用いた.結合精度として93.7%が得られており,混雑した状況にも関わらず比較的精度が高いのは,軌跡消失後の移動方向が比較的単純であり,ウロウロと行動する人物が少ないことが考えられる.

9.まとめ

本研究はレーザスキャナ,カメラ,人感センサ,IDタグリーダ等の異なるセンサから得られる断片的な軌跡情報に,人の外観情報,身長などの体型情報,存在の有無といった情報を加え,事後確率を最大化することでID付きの連続的な軌跡を復元する汎用性の高い方法を提案し,その有効性を実証実験により明らかにした.これにより,セキュリティやマーケティングなど多くの分野において,より精度の高い人の軌跡情報を利用することが可能となる.

図 1 各センサから得られる典型的な情報と本提案手法の処理の流れ

図 2 JR駅構内における追跡結果

図 3 モンテカルロ・シミュレーションによる出現地点の予測分布

図 4 人感センサの援用による予測候補の絞り込み

図 5 カメラから得られた各人物のベストショット画像

図 6 復元された人体の3次元形状

表 1 センサの組み合わせを変えた場合の結合精度

近年、セキュリティやマーケティング、コンテクストアウェアサービスなどへの応用を目的として、人物追跡技術に関する研究が盛んに行われている。人間の行動を観測し、システムが自動的に「誰が」、「どこで」、「何をしているのか」、さらに「どのような意図で行動しているのか」を理解することができれば、非常に幅広い分野での応用が可能となる。こうしたアプリケーションに共通して必要とされる基本的な情報が「個人の識別情報(ID)付きの連続的な軌跡データ」であり、移動する人間を途中で途切れずに継続的に追跡ができる技術が望まれている。

これまでCCDカメラやレーザスキャナなどさまざまなセンサを利用して人物追跡や行動認識に関する研究が行われてきたが、継続的に追跡することは困難な場合が多い。例えば、駅のような混雑した環境では、人同士の重なりによって隠蔽が発生することが避けられないし、隠蔽が生じないように多数のセンサを高密度に配置することは費用的に困難なことが多い。結局、追跡が途中で失敗し軌跡が途切れてしまうことを前提に、それらをできるだけ精度よく接合する(復元する)技術が重要になる。途切れた軌跡を接合する方法は、個々の人物追跡システムにおいてそれぞれアドホックに実装されているが、さまざまな場合に適用可能なより汎用性の高い手法は開発されていない。

本論文の目的は、複数の異なるセンサ情報を用いて、追跡の失敗によって生じた断片化軌跡を復元する汎用性の高い手法を開発することである。本論文は全9章からなっている。

第1章は序論であり、研究の背景、既往の研究事例が整理され、研究課題および目的が述べられている。

第2章は異種センサの統合による断片化軌跡の復元処理手法の全体構成が提案されている。まず想定される主要センサとしてレーザスキャナ、カメラ、人感センサ、IDタグリーダが挙げられ、各センサから得られる情報の特徴が整理されている。そしてそれぞれの情報の特徴をどのように活かして、事後確率を最大する軌跡の結合を実現するのかが述べられている。なお各センサから情報を得るための個別手法の開発については、以下の通り第3章から第6章にかけて記載されている。

第3章はレーザスキャナに着目し、複数台のスキャナによる歩行者追跡手法について述べている。複数台のレーザスキャナを統合することで、計測領域の拡大、および隠蔽領域の緩和を実現している。そしてレーザスキャナによる人物追跡の精度を検証するために、都内のJR駅構内にて実験を行っている。

第4章では、レーザスキャナによる追跡から得られた断片的な軌跡情報をテストケースとして、断片的な軌跡情報から人の移動予測モデルを学習し、軌跡の消失地点から出現地点までの軌跡を確率的に予測する方法を述べている。その応用として、確率的に予測された人の移動軌跡に、人感センサによる「人の有無データ」を重ね合わせることで、人の位置の予測精度を改善できることを示している。

第5章は、CCDカメラなどから人の外観情報を取得して軌跡に関連づけ、断片的軌跡の復元に利用する方法を述べている。

第6章は、斜めに走査するレーザスキャナを用いて、その走査断面を通過する歩行者の体型(身長など)を計測する手法を提案している。通過軌跡に結びつける形で人物の身長や体格といった個人特徴を取得することを可能としている。

第7章は、それぞれのセンサデータから得られた人の外観情報や身長情報、軌跡の出現予測分布を基に、断片化軌跡間の同一性の確率的評価を行い、組み合わせ最適化手法によって全体尤度を最大化することで軌跡を復元する手法を実装している。そしてオフィス環境を模した実験と、駅構内の旅客流動計測実験を通じて精度向上を検証した。その結果、センサ個別の追跡結果に比べて大きく精度が向上することが示された。

第8章では、復元されたID付きの連続軌跡情報を、セキュリティへのアプリケーションに応用した事例を述べている。

第9章は終章であり、結論および今後の展望について述べている。

以上をまとめると、本研究はレーザスキャナ、カメラ、人感センサ、IDタグリーダなどを題材に、異なるセンサから得られる断片的な軌跡情報に、人の外観情報、身長などの体型情報、存在の有無といった情報を加え、事後確率を最大化することでID付きの連続的な軌跡を復元するといった汎用性の高い方法を提案し、その有効性を実証的に明らかにしている。これによりセキュリティやマーケティングなど多くの分野において、より精度の高い人の流動情報を利用することが可能となり、空間情報学の進歩に大きな貢献をしたと考えられる。また、本論文の成果は趙卉菁、柴崎亮介らと共著で公表されているが、論文提出者が主体となって研究を実施しており、論文提出者の寄与は十分である。したがって、博士(環境学)の学位を授与できると認める。