学位論文要旨



No 111755
著者(漢字) 鍛,佳代子
著者(英字)
著者(カナ) キタイ,カヨコ
標題(和) 画像処理による歩行者流動の自動追尾システム
標題(洋)
報告番号 111755
報告番号 甲11755
学位授与日 1996.03.29
学位種別 課程博士
学位種類 博士(工学)
学位記番号 博工第3553号
研究科 工学系研究科
専攻 建築学専攻
論文審査委員 主査: 東京大学 助教授 藤井,明
 東京大学 教授 高橋,鷹志
 東京大学 教授 原,広司
 東京大学 教授 長澤,泰
 東京大学 助教授 岸田,省吾
内容要旨 1)はじめに

 本研究の最終目的は歩行者の移動行動と移動が行われている場の関係を数理的に記述をする事である。その前段階として、移動行動の基本データとなる歩行者の軌跡を作成する必要があるが、歩行者流動に関する既往研究においては、軌跡を作成する作業は手作業によるデータ作成が主流であった。分析の客観性を高めるには分析対象となる移動データのサンプル数を増やす必要があるが、それは同時に取得するデータサイズの増大を意味する。歩行者流動に関する基本データを計算機を用いて自動的に作成する手法の開発が望まれているが、画像処理分野においては、動体追尾に関する研究は未だ実験的な手法の提示に留まっており、定量的な分析を可能とする実用化段階に至っていない。

 本研究は、画像処理の諸手法を援用し歩行者の軌跡を自動追尾する手法の開発を行うものである。

2)論文の構成

 本研究は4編より成っている。

 第1編では画像処理に関する基礎的事項の整理を行う。

 第2編では自動追尾のアルゴリズムに関する新たな手法を提案し、同時に既存の手法との比較を行う。

 第3編では東京大学生産技術研究所構内(以下、生研)での予備調査・実験と実際の街路上の観測調査に対して本アルゴリズムを適用し、その有効性を検証する。

 第4編では第2編で示したアルゴリズムと第3編での適用結果を元に、本研究の成果を総括し、同時に今後の展望についてまとめる。

3)自動追尾のアルゴリズム

 自動追尾のアルゴリズムは、"人の分布"に関する処理と"人の移動"に関する処理に分けられる。

 "人の分布"に関する処理は、元の画像(原画像*1)から人間のみ(動体*2)を抽出する過程である。この過程を画像処理では"動体抽出処理"と呼ぶ。

 "人の移動"に関する処理は、人間を抽出した画像から連続画像の性質を利用して各個人の軌跡を描出する過程である。この過程を画像処理では"動体追尾処理"と呼ぶ。

 追尾アルゴリズムの各手法の概略を"動体抽出処理"と"動体追尾処理"に分けて解説する。

(1)動体抽出処理1.観測調査

 歩行者流動をビデオ画像に録画する。

2.原画像の取得(A/D変換)

 ビデオ画像をTC*4を用いて等時間間隔で画像処理が可能なRGBカラー256階調のデジタル画像に変換する。

3.動体抽出処理

 本研究の動体抽出処理では、原画像と背景画像の差分画像による動体抽出法を用いる。

 (1) 背景*3画の作成

 各画素に判別基準法を適用して背景画像を作成する。

 (2) 動体抽出

 原画像と背景画像の差分を考え、原画像と背景画像の各画素の色階調差分距離と閾値から動体部分を特定し、動体抽出画像を作成する。

 (3) 画像補正

 画像の影、雑音、欠損等について補正処理を行う。特に、影の消去に関しては、背景画素と原画像画素の色別散布図より背景と影の色階調値に関する回帰直線を求めて消去する方法を提案する。

 (4) パーソン・ラベル付け(以下、PSラベル)

 1画像内の各動体を識別するためにラベル付け処理を行う。

(2)動体追尾処理4.動体の階層化

 各動体を位置・色の5次元特徴空間上で考え、その距離に基づくK-平均法によりクラスタリングを行い、各動体を複数のクラスタに分割する。これにより各動体を構成するクラスタの代表値(位置・色)が得られる。

5.移動の認識

 クラスタ間のマッチングにより前後のフレーム間の動体を同定し、各動体の移動ベクトルを求める。

 (1) クラスタ・マッチング

 各クラスタを1ブロックとして、前後のフレーム間で色差分距離を最少にするブロック間のマッチングを行う。

 (2) PSラベルのマッチング

 最大対応数を持つPSラベル間の対応により前後フレーム間の動体の移動を認識し、PSラベルのマッチングを行う。

6.追尾

 着目するデータ項目により以下の3種類のマッチング手法を提案する。

 (1) PSラベルを用いた追尾

 最初のフレームより、逐次的にマッチング結果を保存しながら追尾を行う。

 (2) 最大画素数を用いた追尾

 動体の各クラスタは、動体の要素と対応している。移動により動体の形状に変化が生じる場合においても最大画素数を持つクラスタ間のマッチング結果は安定している。そこで、最大画素数のクラスタを対象とする追尾を行う。

 (3) 最小色差分距離を用いた追尾

 同一要素を持つクラスタ間は微小時間において色変化が生じにくいという性質がある。これを利用し、最小色差分距離を持つクラスタ間で追尾を行う。

4)観測調査・実験

 実際の観測調査の実施に先立ち生研構内で予備調査・実験を行い、その後、都内3カ所(銀座・五反田・代官山)で観測調査を行った。得られたデータに対し、自動追尾のアルゴリズムを適用した結果、次の事項が明らかになった。

1.動体抽出

 ・ 原画像と背景画の差分画像から動体の影以外の部分については、"動体抽出"を精度良く行うことができる。

 ・ 動体と背景の境界を決定する閾値は動体の流動量と日照等によるRGB値の変化(影を含む)に留意して決定しなければならない。

2.画像補正

 ・ 影領域の色別散布図における回帰直線を利用することにより影消去を行うことができ、動体同士が結合している部分を分離することができる。

3.階層化

 ・ 5次元空間(位置・色)でクラスタリングを行った結果、各動体は身体要素(頭部・手・足・胴体等)に対応したクラスタに分割され、クラスタの代表値により各動体の要素を代表できる。

4.移動の認識

 ・ PSラベルのマッチングの結果から、"動体の移動"を移動ベクトルとして表示できる。また、原画像は等間隔の連続画像であることから速度、加速度等も計算できる。

 ・ クラスタのマッチング結果を利用して身体部分の動きを追尾することが出来る。

5.追尾

 ・ 動体抽出した画像を用いた動体の追尾はオクルージョン*5を生じない部分では良好な結果が得られる。

 ・ 複数の人間がひとつの画像に映っている場合でも同時に追尾できる。

 ・ 色情報・画素情報に基づく追尾により、複数の動体にひとつのPSラベルが付けられている場合やオクルージョンを生じている場合の分離の可能性を提示した。

5)終わりに1.本研究の意義

 ・ 本研究の意義は、移動方向が予測不可能な歩行者流動に対して自動追尾のアルゴリズムを開発したことにある。

 ・ 自動追尾のアルゴリズムの開発の成果として、

 (i) 歩行者の"軌跡"が得られること。

 (ii) 動体抽出により"人の分布図"を取得できること。

 (iii) 2値画像でなくカラー画像情報を用いたアルゴリズムを提示した。

 (iv) 動体抽出画像にのみカラー情報を与えることにより、計算速度の改善とデータ量の軽減化が図れる。

 ことがあげられる。

2.問題点

 現段階では、オクルージョンを持つ画像や高密度の流動を持つ画像での追尾の精度に問題点が残っている。前者については、PSラベルの階層化をうまく用いて、各階層のマッチング結果を統合的に判断する知的マッチング手法を開発することで、後者については色の時間変化に追従しながら、原画像の背景に逐次的に近似するような背景画の作成法を開発し、背景画の精度を上げること、及び影消去の手法の改善することで解決を図る。

3.今後の展開

 さらに観測調査を行い適用事例を増やすことにより、前記の追尾アルゴリズムの問題点の改善をはかると共に、歩行者流動のみならず、他の人間の移動データも集積し、軌跡(方向,速度等)や分布(密度を含む)、色、時間特性等から人間の移動について統合的な分析を行う。

 開発した動体の追尾システムの対象を人間以外のものにまで拡張することや他の行動科学分野への応用も考える。

 注)

 *1原画像 : 画像処理を行う元となる画像(静止画像)。本研究では"原画像"を"背景部分"と"動体部分"から構成されると考え、画像処理を行っている。

 *2動体 :動体像において時間と共に位置が変化する対象のこと。本研究においては歩行者のこと。

 *3背景 :原画像の中で動体以外の対象を指す。本文中の"背景画像"とは動画像の中で動体を含まない画像のこと。

 *4TC(タイムコード) : ビデオ画像は1秒間に30フレームの静止画像を持ち、フレームごとにタイム・コードが割り当てられている。本研究では"時・分・秒・フレーム"を持つタイムコードを用いる。

 *5オクルージョン : 観測時に歩行者が重なり合って撮影された部分。追尾の際に問題となるのは、オクルージョンが解消し動体が分離する局面である。複数の動体をひとつにラベル付けした場合にも同様の問題が起きる。

審査要旨

 本論分はVTRに収録された画像データから、歩行者流動の軌跡を自動追尾する手法の開発を行なうものである。人の移動行動の最も基本的な手段のひとつに歩行がある。その行動特性とそれが行われている場との関係を分析するためには、個々の歩行者の軌跡を求め、それらの集積として場の状況を把握する必要があるが、既往研究においては人の軌跡のデータ化は人力を介するものが大部分であり、大量のデータの処理には不適であった。多様な状況下で、正確なデータを大量に得るためには歩行者流動の自動追尾システムを開発する必要があるが、本研究はVTRデータをもとに、画像処理の諸手法を援用することにより歩行者の移動の軌跡を自動抽出する手法を提案するもので、画像処理分野における動体追尾の研究のひとつとして位置づけられるものである。

 論文は4編(11章)より成り立っている。

 第1編は動画像処理に関する基本技法についてまとめたもので、第1章はデジタル画像の分類について、第2章は動画像処理の手順についての解説がなされている。

 第2編は自動追尾のアルゴリズムに関するもので、第3章では動画信の収録手法について述べ、同時にRGB256階調のカラー画像データの特性についての分析がなされている。第4章は動体の抽出手法に関するもので、背景画を利用するものと、差分画像を用いるものとの対比がなされている。第5章は抽出した動体の画像補正に関するもので、色の散布図上における回帰直線を利用した影の消去手法と膨張・収縮処理を用いた雑音消去手法についての解説がなされている。これらの処理後の各動体には、それらを識別するラベル(パーソン・ラベル)が付けられている。第6章はラベル付けされた動体に対し、5次元特徴空間(位置・色空間)におけるK-平均法を適用しクラスタ化を行なうもので、同時に各クラスタの特徴量(画素数、重心、平均色階調値等)が算定されている。第7章は前後のフレーム間におけるクラスタのマッチング手法について述べたもので、クラスタ間の色差分距離を最小にするブロック・マッチングが行なわれ、クラスタ数の最大数に基づくパーソン・ラベル間のマッチングが行われている。第8章は動体の追尾手法に関するもので、基本的にはパーソン・ラベル間のマッチングが行なわれるが、ひとつのパーソン・ラベルに複数の動体が誤って対応づけられている場合や、オクルージョンを生じている場合には追尾が困難となることが指摘されている。その場合の解消法として最大画素数をもつクラスタに基づく追尾と、最小差分色階調距離をもつクラスタに基づく追尾手法が提案されている。

 第3編は本研究の動体追尾のアルゴリズムを実際の歩行者流動の動画像データに適用してその有効性を検証するものである。第9章ではそのための予備調査・実験として歩行者流動を直上から撮影したデータと、斜め上方から撮影したデータの対比のもとに動体の自動追尾がなされ、撮影角度と画像の精度の関係が調べられている。第10章は実際の街路上の歩行者を対象とした観測調査で、銀座、五反田、代官山で収録した観測データを対象に自動追尾が行なわれ、その結果としてクラスタの対応数に基づくパーソン・ラベルの同定手法に最大画素数と最小差分色階調値に基づく追尾手法を併用することにより歩行者の移動の軌跡を良好に得られることが示されている。

 第4編は全体の総括で、第11章では動体の抽出、画像補正、クラスタリング、マッチング、追尾の各段階における成果と問題点の整理がなされ、最後に本論分の意義として、VTR画像から歩行者の移動の軌跡を自動追尾することができ、時系列上での人の分布図を作成することが可能なアルゴリズムを開発できたことがあげられている。ほかに、付録として予備調査・実験と観測調査の分析結果の一覧と、用いたプログラムリストが付加されている。

 以上要するに、本論文はVTR画像とパーソナル・コンピュータという比較的軽微な装置を用いて、歩行者流動の軌跡を得ることが可能であることを実証的に示したもので、その適用範囲は極めて広範である。本手法の開発により、移動に関する研究が今後大いに進展することが予想され、これは建築計画学、都市計画学のみならず、人間行動学の分野における基本的なデータ収集手法を確立したものとしてその意義は大きい。よって、本論文は博士(工学)の学位請求論文として合格と認められる。

UTokyo Repositoryリンク http://hdl.handle.net/2261/53905