本論文では,複合現実感(Mixed Reality,以下MRと略す)システムが利用される典型的な環境の一つである「人工的な環境」における実用的な位置合わせ手法について論じる.MRにおける位置合わせの問題は,基本的にはカメラの位置姿勢をリアルタイムに計測する問題と言い換えられる.様々な複合現実感のための位置合わせ手法が提案されている中で,ヘッドマウントディスプレイなどに内蔵・装着されたカメラが撮影した画像を利用するビジョンベース位置合わせが,手軽でかつ低コストである点から実用化に適した位置合わせ手法として注目を集めている.本論文では,人工的な環境にビジョンベース位置合わせを適用した場合に生じる課題を抽出し,ビジョン情報に人間の知識やセンサの情報を効果的に組み合わせるアプローチによってそれらの課題の解決を図る.

研究の背景・目的

本研究では,人工的な環境を,工業製品や構造物など主に直線を基調とした人工物から構成される環境として定義する.MRは,工業製品のデザイン・設計の検証,組立て作業の支援といった産業場面への応用が期待されており,人工的な環境はこれらのタスクが行われる典型的な環境であると想定される.近年の計算機性能の向上に伴い,ビジョンベース位置合わせは,潤沢なビジョン情報が得られる環境では十分ロバストに動作するようになってきた.しかし,人工的な環境では基本的にビジョン情報(主にテクスチャ情報)が不足するため,そのような環境であってもロバストな位置合わせを提供することが実用化に向けて重要な課題である.また,従来オンラインでの位置合わせの性能向上に関する研究は多くなされているものの,オフラインで行われる位置合わせの事前準備の効率化についてはあまり重視されてこなかった.しかし,実用化を目指す上で,事前準備を効率化してユーザの利便性を高めることも重要な課題である.

人工的な環境における位置合わせの方策として,マーカベース位置合わせとマーカレス位置合わせの2つを考える.第一の方策は,テクスチャ情報の少ない人工的な環境に対し,人為的なマーカを環境中に配置してビジョン情報を増やすものである.一方,人為的マーカを配置することが物理的制約や美的観点から許されない場合がある.また,人為的マーカを配置すること自体が手間や時間がかかる作業であるため,そのような作業を排除したい場合がある.そこで,第二の方策では,人工的な環境において豊富に得られるビジョン情報であるエッジを利用したマーカレス位置合わせ(エッジベース位置合わせ)を適用する.本研究では,これら二つの方策を実施する上で実用上問題となる課題を解決することを目的とする.

マーカ配置に関する先験的知識を利用したマーカキャリブレーション

人為的マーカを位置合わせに利用するためには,マーカが3次元空間にどのように配置されているかを事前にキャリブレーションしておく必要がある.キャリブレーションの精度は位置合わせの精度に直接影響するため,できるだけ高精度であることが望ましいが,効率性も実用上は重要となる.そこで第一の課題として,高精度かつ効率的なマーカキャリブレーション手法について検討する.

従来,複数視点で撮影されたシーンの画像をもとにマーカの配置情報を推定する手法が提案されている.しかし,このような手法では,高精度なキャリブレーションを行うためには多数の画像が必要となり,画像の取得に手間や時間がかかる.

一方,人工的な環境ではマーカ配置に固有のパターン(例えば,複数のマーカが同一平面上に存在する)が存在し,これらのパターンは人間が環境を観察するだけで容易に知覚することができる.本研究では,このようにして得られるマーカ配置に関する先験的知識を拘束条件として最適化計算に組み込む手法を提案する.提案手法では,マーカの配置情報を,拘束条件を表すパラメータと拘束条件下での配置情報に分解し,別々のパラメータとして最適化する.拘束条件を表すパラメータは,既知またはマーカ間で共通であるため,未知パラメータの自由度が削減される.同一の画像枚数から推定したときの推定結果の繰り返し精度(分散)を評価したところ,画像の枚数が少ない場合には,拘束条件を利用する方が利用しない場合に比べて分散が小さく,かつ画像枚数の増加に対する分散の減少度が大きいことを確認した.すなわち,提案手法によれば,同一枚数の画像を用いる場合にはより精度が高く,同じ精度を要求する場合には少ない枚数の画像によってマーカをキャリブレーションできる.

傾斜角拘束と点の2D-3D 対応を利用した位置姿勢推定

位置姿勢が全く未知の状態から位置姿勢を推定する「位置合わせの初期化」処理は,追跡型・非追跡型を問わず必須の処理である.過去の位置姿勢の情報を利用しない非追跡型の位置合わせでは,毎フレーム位置合わせの初期化処理が行われる.過去の位置姿勢をもとに現フレームの位置姿勢を推定する追跡型の位置合わせでも,最初期フレームや追跡が破綻した直後には初期化処理が必要となる.一方,マーカの配置にかかるコストなどを考えると,カメラの視野内に常に多数のマーカが含まれるように密に配置することは現実的ではないため,一枚の画像から検出されるマーカの数は少ないと想定される.また,人工的な環境では十分に特徴点を検出することができない.少ないビジョン情報から位置合わせの初期化を行う場合には,マーカや特徴点の検出誤差が直接的に影響するため位置姿勢推定が不安定になる.そこで第二の課題として,少ないビジョン情報からでもロバストに位置合わせの初期化を行う手法ついて検討する.マーカや特徴点は識別性が高いため,画像上の点(マーカ)と3次元空間中の点(マーカ)の対応(2D-3D対応)は与えられることを想定する.

本研究では,慣性センサの情報をビジョン情報と併用することにより,ロバストな位置合わせの初期化を実現する.ジャイロ(角速度センサ)や加速度センサといった慣性センサは,環境側に装置を用意する必要がなく原理的に計測範囲の制限がないため,ビジョンベース位置合わせとの相性がよい.MR用途に用いられる小型の姿勢センサはレートジャイロと加速度センサが組み合わされたセンサであることが多く,傾斜角の計測精度が方位角に比べて高いという特性がある.そこで,姿勢センサから得られる傾斜角を拘束条件として,傾斜角以外のパラメータである位置と方位角を線形計算によって直接的に求める.ビジョン情報のみから一意にカメラ位置姿勢を推定するには少なくとも4点以上の情報が必要であるのに対し,提案手法では2(同一水平面),または3点(非同一水平面)あれば位置姿勢を推定可能である.実画像を用いた評価実験により,ビジョンベース手法では点数が少なくなると誤差が急激に増大するのに対し,提案手法ではそれほど増大しないことを確認した.また,画像上での点の分布に偏りがあっても提案手法は安定に動作することを確認した.すなわち,提案手法により,ビジョン情報しか利用しない場合に比べてよりロバストに位置合わせの初期化を行うことが可能になった.

傾斜角拘束とエッジ情報を利用した2D-3D 対応と位置姿勢の同時推定

エッジは識別性が低い特徴であるため,エッジベース位置合わせは高速・不規則な動きやオクルージョンなどによって容易に破綻する.そのため,他の追跡型の位置合わせ手法と同様に,位置合わせの初期化処理が必須である.テクスチャ情報が十分な環境では特徴点を用いた初期化が可能であるが,人工的な環境では初期化に足る特徴点が常には検出されることは期待できない.そこで第三の課題として,エッジ情報のみを用いた位置合わせの初期化について検討を行う.エッジは人為的マーカや特徴点に比べて識別性が低いことから,第三の課題では対応付け問題と位置姿勢推定問題を同時に解く手法について検討を行う.

本研究では,ビジョン情報の不足に対するロバストな位置合わせの初期化と同様に,カメラに搭載された姿勢センサから得られる傾斜角の情報を利用して,位置姿勢やエッジ(直線)の2D-3D対応に関する事前知識を一切必要とせずに高速にカメラの位置姿勢とエッジの2D-3D対応を推定する手法を提案する.提案手法では,傾斜角を既知として,方位角の候補を投票によって求め,各方位角候補について,賛成票を投じた2D直線と3D直線の方向ベクトルの組合せに基づいてランダムに位置候補の算出を繰り返す.最後に,評価スコアの高い方位角候補と位置候補の組合せの中から非線形最適化の結果が最も妥当な組合せを選択する.実画像を用いて評価を行った結果,各方位各候補について位置算出を100回行う場合には約60msec(CPU: Intel Pentium 4 3.8GHz)で1フレームの処理を行うことが可能であった.追跡型のエッジベース位置合わせに提案手法を初期化手段として組み合わせたところ,有効に動作することが確認された.

まとめ

以上の三つの課題を解決することにより,従来のビジョンベース位置合わせでは困難であった人工的な環境における実用的な位置合わせの実現可能性を示すことができた.さらなる今後の課題として,センサの誤差や計測精度の考慮,複数のビジョン情報を統合利用によるさらなるロバスト化や精度向上,3次元エッジモデルの自動キャリブレーションが挙げられる.本研究の成果は,人工的な環境に限らず,様々なシーンに対しても適用可能である.また,複合現実感の位置合わせのみならず,ロボットや自動車が自律移動するための自己位置推定など,位置姿勢を推定する必要がある様々な用途へ応用することができる.

本論文は,「人工的な環境を対象とした複合現実感のための位置合わせに関する研究」と題し,実世界の映像に付加的な情報を重畳提示する複合現実感技術において,オフィスや工場などの人工的な環境を対象とした実用的な位置合わせを実現するために,ビジョン情報に環境の知識やセンサからの情報を組み合わせる手法について論じたものであって,全体で6章からなる.

第1章は「序論」であり,ユーザ視点の画像を利用するビジョンベース位置合わせが,実用的な位置合わせ手法として有望であることを示した上で,ビジョンベース位置合わせを人工的な環境に適用するときに解決すべき課題を示し,本論文の背景と目的を明らかにしている.

第2章は「関連研究」と題し,本論文の主題である,ビジョンベース位置合わせを中心とした技術について,1.キャリブレーション,2.位置姿勢推定アルゴリズム,3.利用する特徴に固有のアルゴリズム,4.ビジョンとセンサのハイブリッド位置合わせという4つの観点から関連研究を俯瞰し,本論文の位置づけを明らかにしている.

第3章は「マーカ配置に関する先験的知識を利用したマーカキャリブレーション」と題し,環境に配置した人為的マーカを高精度・効率的にキャリブレーションすることを目的として,人工的な環境の多くが平面で構成されていることなどに着目し,これをマーカ配置の拘束条件となる先験的知識として導入し,ビジョン情報に基づくキャリブレーション手法と組み合わせる手法を提案している.マーカ配置に関する知識を非線形最適化計算における拘束条件として利用することで,未知パラメータの数を減らすことが可能であり,その結果,キャリブレーション結果の分散や,キャリブレーションに必要な画像の枚数を削減できることが実験により示されている.

第4章は「傾斜角拘束と点の2D-3D対応を利用した位置姿勢推定」と題し,ビジョン情報が少ない場合であってもロバストな位置合わせを実現することを目的として,傾斜角センサとビジョンを組み合わせた位置合わせの初期化手法を提案している.傾斜角をセンサから得ることで未知パラメータ数が減るため,従来のビジョンベースの手法が少なくとも4個の2D-3D対応を必要としていたのに対し,2個(同一水平面)または3個(非同一水平面)の2D-3D対応から位置姿勢を推定することが可能になっている.また,ビジョンベース手法では不安定になる状況においても安定に動作することが実験により示されている.

第5章は「傾斜角拘束とエッジ情報を利用した2D-3D対応と位置姿勢の同時推定」と題し,2D-3D対応が未知の場合にもロバストな位置合わせを実現することを目的として,傾斜角センサとエッジ情報から位置合わせを初期化する手法を提案している.傾斜角をセンサから得ることで,画像上のエッジと3次元のエッジの対応の可能性のある組合せを大幅に削減できるため,位置姿勢やエッジの2D-3D対応が未知であっても高速に位置合わせを初期化することが可能になっている.

第6章は「結論」であり,本論文の主たる成果をまとめるとともに,今後の課題と展望について述べている.

以上を要するに,本論文は,人工的な環境における複合現実感のための位置合わせを実用化するため,マーカ配置に関する先験的知識を利用したマーカキャリブレーションの高精度・効率化のための手法,傾斜角センサとビジョンを併用することで従来に比べて大幅に位置合わせのロバスト性を向上させる手法,エッジ情報と傾斜角センサを用いて位置合わせと2D-3D対応を同時かつ効率的に推定する手法について論じたものであって,今後の電子情報学の進展に寄与するところが少なくない.

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.