人工現実感において、計算機内部で構築する仮想世界は対象が実世界であっても、3次元CADなどのコンピューターグラフックスを用いて作成するのが一般的である。そのため、現実感あふれる仮想世界とはいいがたいものがある。そこで、3次元CADデータの入力作業を大幅に軽減し、仮想世界そのものを現実感あふれる、リアリティの高いものとするひとつの方法として、実際の風景などの静止画を用いて仮想世界を構築することが考えられる。そのためには、カメラにより撮影された複数枚の映像を元にして、仮想世界とのインタラクション、特に視点の移動によって提示する映像を変更していくことが必要になる。さらに、視点の移動による見え隠れ(いわゆるオクルージョン)を擬似的に扱わなければならない。

　そこで実世界の3次元モデルを構築せずに、既知のカメラによって撮影された画像を用いて、仮想空間を構成する手法について研究を行った。特に、運動視差によるオクルージョン問題に対する解決をはかるため、映像を遠景・近景のように、距離に応じていくつかの映像平面に分割して、像合成のアルゴリズムを考案し、評価システムを構築した。

　単眼に於ける立体知覚の主要な要因の一つに運動視差がある。これは視点を移動させると、空間に配置されている物体の相互関係が変化し、物体間の前後位置が判定できることをいう。回転移動では運動視差は生じないので、視点の移動を平行移動に限定して、次の2つの方法でオクルージョンの現象を考える。簡単のため、同一平面上で考える。

　Fig.1(左)に示すように、特定の2点間の奥行きとそこまでの距離に着目して、オクルージョンを考える。移動による2点のずれの量Iを求める。

　ここで、移動前のP₂の点はオクルージョンされた点である。移動後のIの値が画素換算でほとんど零のままの時は、P₂はオクルージョンされたままであり、またIの値が大きいときは重ならずP₂が単独で見えたことになり、オクルージョンはなくなったと考えることができる。いいかえれば、オクルージョンを取り扱うためには、視点からの距離zに応じて、仮想空間に取り込むべき実空間をtが非零となる間隔の平面でサンプリングすればいいことになる。当然距離が近いほど、サンプリング間隔は短くなる。

　Fig.1(右)に示すように、透視変換による効果の度合いを、対象物上の特定の2点間の距離の変化に着目して調べる。ただし、f+z>>z₁,f+z>>z₂とする。

　この距離の差が移動前後で撮像面上の画素換算で、大きいときは透視変換の効果は大きく、すなわち対象物の奥行き(ボリューム)は考慮しなければならなく、数画素程度なら、奥行きは考慮しなくても済むと考えられる。

Fig.1 Movement of an eye

　以上の考察により、対象物が近い場合(数メートル)では、実空間をサンプリングする平面の間隔は短く取る必要があるが、これは対象物単位に奥行き(ボリューム)を考慮すれことに他ならない。また遠い場合(10メートル前後を越える)では、実空間をサンプリングする平面の間隔を長くでき、対象物の奥行きを考慮しなくて済む。すなわち、対象物が遠くにある場合は単に奥行きがなく垂直な平面上に張り付けられて存在していると考えることが出来る。

　そこで、得られた原画像上の対象物を上述の規範で近景と遠景の2種に分類し、さらに運動視差を与えるため、距離に応じて各平面を細分していき、Fig.2のように分割して、視点の移動に伴う画像合成のアルゴリズムを考えていくことにする。

Fig.2Concepts of the scenary planes

　透視変換を平行投影(またはScaled orthographic projection)に線形近似し、位置姿勢の判明している複数台のカメラとその画像より、間接的に対象物の奥行きを取り扱い仮想視点からの画像を合成することを考える。

3.2オクルージョンの取扱い

　前節のままのアルゴリズムだと、オクルージョンが無いことを前提とした視点の移動しか出来ず、臨場感に乏しい。この取扱いを簡略化して、ある程度、視点の移動をさせ、対象物体の見え隠れる部分を変化させることを考える。そのために、対象物体を複数の方向から撮影した画像を元に、特徴点を決め、それを使って3角パッチに分割し、画像間の特徴点の対応関係・3角パッチ間の前後関係を記述できる、汎用的な2次元画像上の領域で規定する形状の表現方法を導入する。

3.2.13角パッチの種類

　対象物体の領域を分割する3角パッチとして2種類考える。一つめはすべての画像から見える同一の領域(frontside属性)であり,二つめはある角度からの画像では見えるが異なる位置からでは見えない領域(backside属性)である。

3.2.22次元領域で規定する形状表現モデル

　前述した2種類の3角パッチを用いて、対象物体の形状をFig.3のような2次元の領域で表現する。そのためには、2種類の3角パッチを構成する特徴点としては、物体の頂点、稜線上の点、遮蔽稜線(occluding edge)上の点、隠れ面を作り出している手前側の平面の稜線上の点、曲面を構成している周囲の曲線上の点、曲面内部だが遮蔽稜線となっている線上の点などを用いる。

　対象物体のすべての領域を覆う3角パッチを一意に決めた後、次の2つの情報を付加する。まづ、パッチ間の前後関係を定義する。すなわち前述した見えているパッチ(front)と遮蔽され見えないパッチ(back)を指定する。次に画像間の特徴点の対応づけを指定する。すなわち、Fig.3に示すように、patch1なる3角パッチは特徴点vtx1,vtx2,vtx3によって構成され、この3点についてのimage1,image2,image3などの画像における座標が定義されている。すなわち、画像間の点の対応関係を示している。

Fig.3 Object description by patches’ area

3.4実験の構成

　カタログショッピングなどにおける商品の外観をインタラクティブに視点を変え、眺め回すことを想定して、仮想視点を対象物を中心とした円周上でさらに高さ方向も変えながら移動させる。また、適当な3次元位置が既知のパターンを用いて、カメラキャリブレーションを行い、使用するカメラの位置(x,y,z)、姿勢(各軸回りの回転)とカメラの焦点距離(縦・横それぞれの方向の画素単位の焦点距離)、カメラの光軸中心の10個のパラメータを線形最小自乗法を用いて算出する。

　Fig.4は既知画像を撮影したカメラの配置と仮想視点の位置を表わす。Fig.5はカメラの配置を示すFig.4において、カメラ1より右に回り込んで、違う角度から見た場合(Fig.4中のVV-1位置)の合成した画像である。

図表Fig.4Cameras’ setup / Fig.5 Image synthesis at position VV-1

　遠景扱いの対象物は、対象物の奥行きを考慮する必要がないので、仮想視点の移動量に応じて画像上の対象物全体を移動させることになる。

4.2実験の構成:遠景・近景の対象物の描画

　Fig.6のような撮像系を構成して、窓からみた外の風景を眺め回すことを想定して、遠景として正門近くから撮影した13号館の校舎を、近景として窓ガラスとその窓枠を使って実験を行った。ここで、遠景用の景色平面を校舎と手前の木の2つに分割するため、原画像そのものを加工修正した。

Fig.6 Image capture device

　両眼立体視の画像を提示するためには、左目に対応する画像と眼間距離分(約65mm)だけ離れた右目に対応する画像を生成しなければならない。しかし、平行投影を前提とするUllmanらの方法では両眼立体視を構成できない。そこで、画像合成の式(3)(4)の替わりに、2次元領域形状表現モデルにて定義された特徴点に関して、複数の撮影時に使用した既知のカメラパラメータよりその3次元位置を算出し、その後、仮想視点の位置・姿勢に従って透視変換を行い、x_N,y_Nの位置を特定することになる。

5.2描画方法

　実写画像より、Fig.8に示すような仮想空間を構成し、シリコングラフックス社製のEWS上のiris-GLのグラフックライブラリィ上に実装する。

図表Fig.7System overview for stereo display / Fig.8Example of the virtual space extracted from the captured images5.2.1描画の基本方針

　モニター面へ画像を描画するとき、提示する画角を一定にする必要がある。そのためには、現在の視点から焦点距離離れたところに仮想のCCD面を置き、まづ、この面で画像を合成する。次に視点からの画角を一定に保ったまま、仮想CCD面で得られた画像をモニター平面に投影する。これは、特徴点に囲まれた領域をテキスチャーマッピングすることに他ならない。ここで、グラフィックライブラリィにおけるZ-バッファ、アルファバッファを2次元領域形状表現モデルと遠景の対象物を取り扱うに適した形で使用する。

　・近景の2次元領域形状表現モデルに定義されている3角パッチ単位にテキスチャーマッピングを行う。描画する3角パッチに前後関係がある場合は、Z-バッファを用い、手前と定義されている3角パッチを張り付ける平面は奥と定義されている3角パッチの平面より手前の値(Z値)に設定する。

　・遠景の対象物は、対象物を包含するような矩形の透明の板(アルファバッファ値を0とする)の上に貼り、矩形を奥行きを考慮した平面(Z値)にテキスチャマッピングする。

　Fig.9に手順としてまとめ、合成した画像の一例をFig.10に示す。

図表Fig.9Image synthesis calculation flow / Fig.10Synthesized image

　以上のように本論文では、人工現実感における映像の臨場感を高めるため、実写画像をもちいて仮想空間を構成するための像合成のアルゴリズムについてまとめた。特に、オクルージョン問題を2段階に分けて取り扱う方法を示した。まづ、運動視差に着目して、仮想空間に取り込もうとする対象の実世界をどのぐらいの間隔の平面でサンプリングすればいいかを示し、遠景・近景の2種類の景色平面に分類した。遠景の対象物に関しては奥行きの考慮をしない簡便な像合成の方法を用い、近景の対象物に対しては2次元領域形状表現モデル(ABMD)を用いてオクルージョンを取り扱った像合成のアルゴリズムを考案した。ざらに実際にシステムを構築し、評価を行なった。