1.　はじめに

　いわゆる視覚的バーチャルリアリティ(Virtual Reality:VR)あるいはバーチャル・リアリティ・プロトタイピング(VR Prototyping)システムにおいて、従来のバーチャル空間は主にコンピュータグラフィックス(CG)のプリミティブを組み上げている。このため、リアリスティックなモデルを作成するには特殊な技能と膨大な時間を必要とし、開発コストが高くなる。また、モデルの質感が低く、実空間との合成が困難である。VRのこのような問題点を克服する一つの方向性として、実空間の情報をバーチャル空間に取り込んでお互いに強調しようとするオーグメンティド・リアリティ(Augmented Reality:AR)が注目されている。特に、近年実空間の3次元レンジデータの測定手段が急速に普及し、数多くの計測用デバイスが開発されているため、ARシステムにおける実物のバーチャル空間中での再現と合成は一つの手段として提供されている。

　本論文では、AR環境の構成法を研究している。まずは、実物の実写画像とレンジデータをコンピュータに取り込み、画像分割とNURBS曲面の結合応用によるレンジデータの加工法を提案した。この方法によると、一つの実物からいろいろな形状が変化した、質感が高いモデルが作成できる。また、実空間とバーチャル空間の正しい遮蔽関係を実時間で提示するために、両空間の距離情報とカラー情報をすべてビデオ信号に変換して、ビデオ信号レベルでの合成法も提案した。

　本研究で、実物の実写画像とレンジデータを獲得するため、レーザーレンジファインダー(ミノルタ製VIVID700)を用いた。この装置を用いて同一視点から得られたカラー画像とレンジデータ(図1)の間に対応関係がある。これらのデータを用い、画像処理により特徴のレンジデータを抽出することができる。また、幾何形状データを三角メッシュで曲面を表現するため、Hoppeにより提案された細分割曲面の復元方法を利用した。

2.　画像分割によりレンジデータの抽出

　実物のカラーデータC(i,j)=(R(i,j),G(i,j),B(i,j)とレンジデータR(i,j)=(X(i,j),Y(i,j),Z(i,j))(i,jはウインドウ座標)間で一対一関係が成立すれば、カラー画像のエッジにより特徴領域のレンジデータが限定される。そこで、画像処理を容易に行うため、前処理として対象になる実物をZ値に応じて背景から分離することを施した(図3)。カラー画像における特徴の境界線を抽出するため、二つの画像処理方法を利用した。

　方法I:

　カラー画像の中にエッジ線が主に直線である場合に、画像はまずモノクロ濃淡画像1(j,∫)に変換して、次のような1次微分演算により対象物の全体エッジを抽出する。

エッジ濃度は〓で計算する。抽出した対象物の全体エッジを図4に示している。さらに、Hough変換を用いて、エッジ画像からすべての直線を確定する。そして、直線ごとにピクセルの連結をチェックしており、繋いでいるピクセルを線分としてラベルを付ける。線分の長さ(ピクセル数)がある値より小さい場合、この線分がノイズとして削除する(図5)。従って、線分のラベル、長さまたは重心座標値によって線分が選択され、特徴範囲が囲まれる。

　方法II:

　カラー画像における曲線エッジが多い、あるいはエッジの曲率が高い場合には、カラーヒストグラムを利用される。カラー要素(R,G,B)別にヒストグラム図と画像を作成し、相関係数ρも計算する。ρ値を最初の閾値Tとして以下のように画像を分割する。

　目標の特徴領域が分割されない時、ヒストグラム図とカラー要素画像を参照しながら閾値を修正し、いわゆる試行錯誤法で閾値を決定する。しかし、分割された画像には目標領域以外に、余計な領域も含めている。これに対して、本手法では各領域にラベルを付けて、面積(ピクセル数)と重心座標値を計算しており、これらのパラメータに基づいて特徴範囲だけが確定される。そして、1次微分によるエッジが抽出される。

　図6には抽出された鼻と目の画像エッジを示している。既にカラーデータとレンジデータの間に対応しているため、鼻と目のレンジデータを抽出することができる(図7)。

3.　NURBS曲面によりレンジデータの変更

　実物のモデルにおける特徴レンジデータだけを変更させるために、NURBS曲面を利用して特徴レンジデータを加工して、得られたNURBS曲面データをそのデータに置きかえた。その理由は、NURBS曲面が制御点によって定義される凸包に完全に含まれ、かつ制御端点を通るので、NURBS曲面データとレンジデータが連結口で合わせられる、データのオーバーラップが避けられる。NURBS曲面が数学公式で表現するため、形状分析と操作が容易で形状デザインに対して柔軟性がある。また、スムーズな曲面やプログラミングを容易に実現することなどが挙げられる。

　NURBS曲面は次の式で表される。ここで、Mi,k(u),Nj,i(v)はB-スプライン基底関数である。パラメータの設定は次の通りに規定されている。

　・　制御点Pijは特徴レンジデータの中で選択する。u,v両方の端点はデータの外側で取る。これによって、最初の制御ネットが構成される。

　・　重みwijが大きくなると、制御点に引き寄せられ、シャップコーナーが作られる。通常、重みがwij=1に設定している。

　・　位数kとlは3に設定した。

　・　ノットベクトルTはノット点tiの並びで組み上げる。tiは次の式で計算する。但し、円弧を作成する際に、T={0,0,0,1,1,2,2,3,3,4,4,4}に設定している。

　制御ネットの設計には、まず次の式から特徴レンジデータで構成した曲面の単位法線ベクトルn0を計算し、そして各制御点に与えられた方向と距離をn0と加算する。

　ここで、viはi番目三角メッシュの三頂点である。最初の制御ネットは次の式によって移動して、望む形に設定することができる。但し、外側の制御点を変更しない。

　ここで、npは制御点に与えられた移動方向で、spはその方向で移動距離である。構成した制御ネットと生成したNURBS曲面は図8のa、bに示している。図8はデータの生成と融合を示している。

　また、一旦作成したNURBS曲面は制御点と重みの修正により形状を変更することができる。従って、画像分割とNURBS曲面の結合応用により、実物の特徴レンジデータの抽出と変更することができ、いろいろなモデルを作ることができる。新たなデータセットを分割曲面で復元したモデルの例を図9に示している。

　変形したモデルにはもとのカラー画像をマッピングすれば、色付きモデルを作成できる。そのため、2次元テクスチャ座標(S,t)から3次元ワールド座標(x,y,z)への変換関数φは次のように定めた。

φ:s=(x+α・α)/2αα,t=(y+β・b)/2βb

ここで、αとβはモデルの平行移動によって決まる係数である。

4.　ビデオ信号による実空間とバーチャル空間の合成ARシステムにおける、実時間で正しい遮蔽関係を有する空間合成方法は重用な課題である。本研究では従来のNTSCビデオ信号を実/バーチャル空間の合成に用いる。すなわち、実空間とバーチャル空間のカラー情報と距離情報は予めビデオ信号に変換しておいて、距離情報信号の比較よりカラー信号のどちらを提示するかを決める。この手段の利点としては、空間合成を物理的なNTSC信号のレベルで行うため、合成過程そのものに起因するフレームレート低下や遅延が発生しない。すなわち、毎秒30フレーム、60フィールドでの実時間性能を単純なデバイスで実現できることが特色である。

　また、電子回路によるビデオ信号レベルでの画像合成のため、以下の二点を満たすことが必要である。(1)実空間とバーチャル空間からのカラー画像信号と奥行き信号が同期していること。(2)距離の比較を行うため、奥行き信号が同一レベルで生成されたものであること。すなわち、各空間の奥行き値をビデオ信号に変換する前に、キャリブレーションを行う必要がある。このため、本研究では図11のような実験システムを設けた。SGIワークステーションには同時に4セットのR,G,B信号を出力可能なICOボード(Indigo2 IMPACT TM channel OPtion)を装着しており、そこから出力される信号は4チャンネルの同期信号を多重化したNTSCタイミングのR,G,B信号である。試作したスキャンコンバータとスイッチング回路は、まず4セットのR,G,B信号をNTSCコンポジット信号に変換して、そして奥行き信号の比較により画像信号を切替える。このように合成した画像信号をモニタに提示する。信号のキャリブレーションのため、すべてのカラー画像を同じ視点位置で、同じビューイングボリューム中でレンダリングした。従って、Z-バッファ値から生成した距離画像は同一レベルのビデオ信号を発生する。

　信号の合成は時間的にスキャンラインに沿って行う。その流れは図12に示している。実物の遠近位置による合成結果が図13に示している。実物がバーチャル物体の手前にあると完全に現れ、奥にあると隠れている。

5.　結論

　本論文では、実物のカラーデータとレンジデータに着眼して、AR環境構築ためのモデル生成と空間合成を研究した。モデルの生成と加工には画像分割とNURBS曲面のアルゴリズムを合わせて利用した。空間の合成にはビデオ信号レベルで実現した。

　カラーデータとレンジデータの対応関係を成立すれば、特徴領域のレンジデータを抽出するために、2次元の画像処理は3次元の幾何分析より容易で、正確である。また、NURBS曲面によりレンジデータの変更に至っては、数学的に形状の設計、データの制約ができる。融合した形状データは細分割曲面で復元することによって、ボリゴンの接続、シームの発生を避けることができる。

　ビデオ信号で実空間とバーチャル空間合成の研究では、空間の距離情報に注目した。距離信号の比較により、画像信号を選択することでAR環境における正しい遮蔽関係を得られる。また、NTSC信号を利用しているため、実時間性を実現した。

　本研究では、AR環境の構築のため、主に実物をAR環境中に再現するためのモデリングと加工、および実空間とバーチャル空間をビデオ信号レベルでの合成、という二つの新しい方法を提案した。実験により、これらの方法の実用性と有効性を証明し、AR環境の構築に対して、有力な手段を提供した。

図1. 実物のカラー画像とレンジデータ

図2. Hoppe法により復元したモデル

図3. 分離された実物のカラー画像

図4. 抽出した対象物のエッジ

図5. 直線エッジ上の線分とノイズ

図6. 抽出された鼻と目のエッジ

図7. 抽出された鼻と目のレンジデータ

図8. 残したレンジデータ、NURBS曲面または合成したデータ

図9. 変形したモデル

図10.テクスチャマッピング

図12.ビデオスイッチングの流れ図

図11.実験システム構成図

図13.空間合成した結果

　本論文は「Study on Construction Method of Augmented Reality Environment(オーグメンティド・リアリティ環境構成法の研究)」と題し、6章からなる。バーチャルリアリティ(Viltual Reality:VR)特にバーチャル・リアリティ・プロトタイピング(VR Prototyping:VRP)において、従来のバーチャル空間は主にコンピュータグラフィックス(CG)のプリミティブを組み上げて構成されている。このため、リアリスティックなモデルを作成するには特殊な技能と膨大な時間を必要とし、開発コストが高くなるという問題があった。また、開発コストをかけてもなお、モデルの質感が低く、実空間との合成も困難であった。近年VRPのこのような問題点を克服する一つの方法として、実空間の情報をバーチャル空間に取り込んで利用する所謂オーグメンティド・リアリティ(Augmented Reality:AR)が注目されている。また、実空間の3次元距離データの測定手段が急速に普及し、数多くの計測用デバイスが開発されているため、実物体のバーチャル空間内での再現と合成は一つの手段として提供されつつあるが、VRPに適合した方法はいまだ確立していない。本論文では、同一視点から採取した距離データとカラー画像データを利用し、画像の特徴を用いて距離データの特定部分を特徴化して切り出して、かつそれを変形可能な自由曲面として表現する方法を提案するとともに、実環境とVR環境とを遮蔽矛盾なく実時間のビデオ信号レベルで混合する方法を提案して、併せて、実物体の距離情報を有効に利用して実画像を用いながら、それを自由に変形することが可能なシステムを提案している。また、それがVRPなどに利用可能な新しい方式となりうることを実際のシステムを構築して実証し、その有効性を示すことにより応用への道を拓いている。

　第1章「Introduction(序)」は緒言で、実写映像の質を確保しつつ、それを変形操作しうるバーチャルな物体操作という観点から従来のモデル・ベースト・レンダリング法やイメージ・ベースト・レンダリング法の問題点を明らかにし,距離データと画像データを有効利用することにより、両者の長所を生かした方式を志向するという本研究の目的と立場と意義を明らかにしている。

　第2章は、「Detection of Feature Range Data Based on Image Segmentation(画像領域分割に基づく特徴距離データの検出)」と題し、提案する方式のうち、画像処理により変形したい特定領域のみの距離データを取り出す方法について、その設計指針を論じている。すなわち、まずレーザー・レンジ・ファインダとテレビカメラを組み合わせ同一視点からの実物のカラーデータと距離データを得て、三次元カラーデータとする。次に特別に変形したい領域については、予め特定の色を塗布したりして差別化するか、カラー画像のエッジ抽出を行って領域を切り出し、特徴領域の距離データを限定する。このような手続きを行うことで既に実用化されている二次元の画像処理の手法を用いて距離データのクラスタの中から特定の距離データ群を三次元データとして取り出せることを述べている。実際に、これに適した画像処理の具体的な方法も提案し、その有効性を実例をもって示して、提案方式の有効性を実証している。

　第3章は「Transformation of Range Data(距離データの変換)」と題し、第2章で得られた距離データを変形可能なモデルデータに変換する方法を述べている。すなわち、実物体における変形したい特定特徴距離データだけを変更可能とするために、特徴距離データ群をCAD(Computer Aided Design)で多用されるNURBS(Non-Uniform Rational B-Splines)曲面を利用してモデル化することを提案し、その具体的な方法を明らかにしている。この利点は、NURBS曲面が制御点によって定義される凸包に完全に含まれ、かつ制御端点を通るので、NURBS曲面データと距離データが連結口で合わせられ、データのオーバーラップが避けられることにあるとしている。一旦作成したNURBS曲面は制御点と重みの修正により形状を変更することができるので、画像分割とNURBS曲面の結合応用により、実物体の特徴距離データの抽出と変更を行うことができ、モデルの部分変形が可能となる。変形したモデルにはもとの実際の実写画像あるいは、別に用意した実写画像をマッピングすれば、実写画像を有した変形可能なモデルを作成できることを示している。

　第4章は「Construction of Augmented Reality by Use of Video Signal(映像信号を用いるオーグメンティド・リアリティの構成)」と題し、ARシステムにおける、NTSCビデオ信号を実空間とバーチャル空間の合成に用いることで正しい遮蔽関係を有する空間を実時間で合成する方法を提案している。すなわち、実空間とバーチャル空間のカラー情報と距離情報を予めビデオ信号に変換しておき、距離情報信号の比較によりカラー信号のどちらを提示するかを決める。この手段の利点としては、空間合成を物理的なNTSC信号のレベルで行うため、合成過程そのものに起因するフレームレート低下や遅延が発生しない、すなわち、毎秒30フレームでの実時間性能を単純なデバイスで実現できることが特色である。

　第5章は「Example of Application(応用例)」と題し、実環境と変形可能なVR環境を実時間で比較し遮蔽矛盾なく提示するシステムを構成している。すなわち、実環境内の可動物体の顔の部分だけを切り出し、その部分を変形可能なモデルとしつつ、モデルであるVR環境と実環境を遮蔽矛盾なく実時間に提示するシステムである。試作したシステムを用い実験を行ない本論文で提案した方式により実写映像を観測しながら、特定の領域のみは、自由に変形可能なAR環境の構成が実時間で効果的に実現できることを示してしいる。

　第6章「Conclusion(結論)」は結論で、本論文の結論をまとめ、今後を展望している。

　以上これを要するに、本論文では、実用化されている装置を利用して実物体のカラーデータと距離データが同一視点から得られることに着眼して、実物体の特定部分を変形可能なバーチャルなモデルに置き換え、それと実物体とを実時間に遮蔽矛盾なく提示しながら、モデル部分については自由に変形可能なシステムを構成する法を提案している。モデルの生成と加工には既に実用になっている二次元の画像処理法とCADで多用されるNURBS曲面のアルゴリズムが効果的に利用可能であることを示して、提案法が容易に実用化できることを示唆し、またビデオ信号レベルでの実環境とVR環境の実時間合成法を提案し実現している。すなわち、本研究では、AR環境の構築のうち、実物体をAR環境内に変形可能なモデルとして混在させるためのモデリング法と加工法、および実空間とバーチャル空間のビデオ信号レベルでの合成法の二つの新しい方法を提案し、実験によりこれらの方法の実用性と有効性を示して、AR環境の構築に対して有力な手段を提供しつつ応用への道を拓いたものであって、計測工学及び人工現実感工学に貢献するところが大である。

　よって、本論文は博士(工学)の学位請求論文として合格と認められる。