第1章は、あらゆる情報をコンピュータに取り込みさまざまな処理を行うという流れの中で、柔軟物の動きもコンピュータに取り込むことが求められている。一般の剛体や弾性体では、外から力が作用し時間的な動きが生じた際には、その表面形状は同一の法則で変化するため、測定したい物体に対して自由度を持つ部分を端点として、その端点の情報のみを計測することで時間変化する表面の形状を認識することが可能である。しかし、柔軟物はあらゆる点で自由度が高いため、剛体や弾性体と同様に扱うことは不可能である。そのため、剛体や弾性体と同様に柔軟物のモーションキャプチャを実現するためのセンシング、モデリングの技術が必要である。

本論文では、リアルタイムでのモーションキャプチャを実現するためのセンシング、モデリング技術について述べている。また、時間的に変化する表面形状を認識する対象としての柔軟物として、本論文では以下のような特徴を持つ物体を柔軟物と定義している。

・ 時間的な形状変化が起こる

・ 単純な物理法則のみに依存しない

・ 表面は時間的・空間的に連続している

・ 表面積は時間的に変化しない

　また、これらの技術を用いたアプリケーションとしてのリアルタイム仮想試着室システムMIRACLEについてふれている。リアルタイム仮想試着室の利点として、現在、服についての情報が発信されている場所は店頭だけではなく、雑誌やカタログなどのメディアを利用しているパターンもしばしば見かけられる。さらに、今後ネットワーク環境の更なる普及にともない、実際の商品を見ることなしに服を購入する機会が増える可能性がある。また、情報のディジタル化などからファッションについても今まで以上に簡単に情報の発信や収集が可能となっている。そのため、より多くの選択肢の中から自分に似合う服を探すことが可能となってきている。そこで、服を購入する際に手助けをするシステムが必要となる。そのシステムにはユーザが多くの服の中から、すばやく簡単に効率よく選ぶことが求められる。実際に既製品である服を購入する際には、ある程度選択肢を絞って、その後に試着することで購入することが考えられる。そのときの選択肢としている服を着ているイメージを自分自身で作り出すことで選択肢を減らすことが可能となる。それは、その服が目の前にあるためにある程度正確にそのイメージを作り出せるためであり、その場にない服を購入する際には難しい。

　したがって、選択肢や情報源が幅広くなっていることから、その場に無い服がディジタル化されている際に有効な仮想的に試着を行えるシステムが必要となる。ここではそのシステムとして、実際に試着して鏡の前に立ったときと同じような感覚を実現するために、実際には着ていない服を試着した姿が映る鏡のようなシステムにし、より多くのファッションを楽しむ機会を提供するシステムとなる。

　第2章は、これまでは柔軟物をコンピュータグラフィックを用いて表現する際に、柔軟物を剛体や弾性体として扱っていたそのため、柔軟物として表現したものが、実際には剛体や弾性体のような印象を与えていたことを指摘し、そこで柔軟物のモーションキャプチャの核となるセンシング、モデリングの各要素技術に対し、剛体や弾性体で用いられている従来技術について述べ、従来技術を用いて柔軟物のモーションキャプチャを試みた場合、柔軟物の特性上しわなどが起きた際に認識が不可能であり、柔軟物特有のモーションキャプチャ技術が必要であると述べている。また、柔軟物のモーションキャプチャへの試みとして、オプティカルフローやステレオマッチングを利用した方法についても言及しているが、従来の他の物体での置き換えと同様に、しわに対しての耐性がない。

　第3章は、認識対象としての時間で変化する3次元形状を2次元表面で表現する簡易化を行うことで、リアルタイムでの形状認識を可能とする柔軟物のモーションキャプチャアルゴリズムの概要について、認識対象としての時間で変化する3次元形状を2次元表面で表現する簡易化を行うことで、リアルタイムでの形状認識を可能とする方式を提案している。

　第4章は、画像認識を用いたセンシングとして、色情報を用いたセンシングを考える。色をマーカーとしてセンシングを行うことを考えた場合、理想的には全ての点が違う色であればマーカーの対応を確実にとることが可能となる。しかし、実際にはそのようなことは不可能である。また、時間的に表面形状が変化するため、そのときそのときの形状によって、光の当たり具合が変化するため、事前に知っている色と違う色をコンピュータに取り込むことが容易に想像できる。これらに耐性を持つ柔軟物のセンシングを実現するためにマーカー付きの柔軟物を用いる方式を述べ、しわやオクルージョンが生じた際にもセンシング可能なマーカー付きの柄の構築方式について述べている。

　第5章は、マッピング領域の重心を利用することで柄の形状変化を認識することが可能となるが、さまざまな要因からすべての点を検出できないことが予想される。そこで、検出できなかった点について、補間を行う必要がある。前章で判定したように、オクルージョンとしわのそれぞれの物理的要因を反映した消失点の補間を行う。また、マーカーの位置を決定した後の2次元表面で表現するためのアフィン変換や幾何変換を用いたマッピング方式について提案している。

　第6章は、モーションキャプチャを行って可視化した柔軟物に対して、質感・立体感を与える画像とするために正確な陰影情報を反映する表現方式について述べている。これは、形状認識を行い、マッピングを行うだけでは、平面を構成する情報のみしかないため立体感が欠如してしまう。そこで、元となった色の情報から現在の色への変化量を陰影情報みなしその差分情報をマッピング画像の加えることで質感、とくに立体感を加える。

　第7章は、本論文で開発したアルゴリズムを元に、リアルタイム仮想試着システムMIRACLEシステムを提案し、Tシャツの試着システムとしてシステムの評価を行い、実際のシステムとして有効であると結論付けられている。MIRACLEとは、実際に試着を行うことなく、あたかも試着をしているような様子がリアルタイムで鏡のように映されるシステムであり、服を購入する際などに、試着する行為に対する負担の軽減と試着可能な服の選択肢の拡大を可能にするシステムである。

　従来の仮想試着室システムは、静止画を用いるシステムと動画を用いるシステムとに分類することができる。静止画システムは、事前に登録している服を試着したモデルの画像をもとに、モデルの顔を利用者の顔に置き換える方式が代表的である。この方式では、モデルの顔形・体型が自分と合わないため精巧な画像処理を行ったとしても試着している感覚を得ることができない。また、動画システムは、利用者の人体計測と、三次元人体モデルと服のモデルの組み合わせシミュレーションを行う方式が代表的方式である。この方式では、複雑な処理が必要でリアルタイムの処理が困難なため試着の感覚が得られないこと、また計測のためのセンサー等で、服の試着にもかかわらず、利用者に多大な精神的な負担がかかることなどの問題点がある。

　そこで本研究では、これら従来システムの問題点を解決するために、リアルタイムかつ自己モデル(ユーザ自身モデル)での仮想試着システムの実現を目的とする。そのために、服を試着することが本来の目的であることに立ち返り、服そのものに着目し、服の動きをコンピュータに取り込む(このことも、モーションキャプチャの一種とここでは考える)ことで従来の問題点を解決している。

　第8章は、本論文の主要結論を述べている。時間で変化する柔軟物の3次元形状をマーカー付きの柔軟物を用いて計測し、2次元表面で表現する簡易化を行うことで、リアルタイムでの形状認識を可能とし、提案方式が柔軟物のモーションキャプチャとして有効であると結論付けられている。

以上

　本論文は「柔軟物時変表面形状認識に関する研究」と題し、柔軟物の時間的な表面形状の変化をリアルタイムで認識する技術について提案している。

　あらゆる情報をコンピュータに取り込みさまざまな処理を行うことを求める流れの中で、物体の動き、時間変化の情報を取り込むことも求められている。その一例として、コンピュータグラフィックス技術を用いた映像制作において、人物の姿勢や動作をよりリアルに表現するために、モーションキャプチャ機器を用いて人物の姿勢を立体的な情報として取得することが可能である。

　また、剛体や弾性体の場合、外から力が作用し時間的な動きが生じた際には、その表面形状は同一の法則で変化するため、測定したい物体に対して自由度を持つ部分を端点として、その端点の情報のみを計測することで時間変化する表面の形状を認識することが可能である。しかし、柔軟物はあらゆる点で自由度が高いため、剛体や弾性体と同様に扱うことは不可能である。そこで、本論文ではまさにこの問題を解決とすること、すなわち、柔軟物の時間的な表面形状の変化をリアルタイムで認識する技術を確立させることを目的とする。

　さらに、そのアプリケーションの一つとして仮想試着室システムを考える。仮想試着システムでは、衣服の動きデータが必要となるため、柔軟物の時間的な変化に対応した表面形状認識技術が重要な要素技術となるためである。

　本論文では、以上のような概要のもと、下記の章によって構成されている。

　まず第1章は、「序論」として研究の目的ならびに研究課題について述べ、論文の構成について述べている。続く第2章は、「研究の背景となる関連研究」と題し、柔軟物の認識にこれまで使われていた物体のセンシング技術、モデリング技術の調査と行い、それらの問題点を解決するために現在研究が進められている柔軟物モーションキャプチャについて紹介する。

　第3章は、「柔軟物事変表面の形状認識」と題し、これまでの柔軟物のモーションキャプチャ技術の問題点について論じ、従来では実現できなかった物体の重複にも対応した手法の概略を述べる。

　第4章は、「柔軟物センシング」と題し、画像処理を用いて柔軟物をセンシングする際に柔軟物の物理的な特性を考慮した効率的なセンシング技術の提案を行う。そのために、柔軟物の形状を正確に把握するための特徴点(マーカー)の配置法や、動的に特徴点を判別する方式、特徴点が消失した際の物理的な要因の特定の提案を行う。

　第5章は、「柔軟物モデリング」と題し、センシングを行って得られるデータはあくまでも数字でのデータであることから、そのデータをより効率的に利用するための可視化の技術として、センシングデータの平面モデルに適応することで可視化する手法を提案する。

　第6章は、「柔軟物の質感表現」と題し、平面モデルで可視化したデータに対してそのデータに立体感を付加する方式として、各画素の正確な陰影情報を用いた質感表現を提案する。

　第7章は、「MIRACLEへの応用」と題し、先述した提案手法―センシング・モデリングを用いたシステムとして、リアルタイムでの仮想試着システムMIRACLEを構築し、このシステムの評価実験を通して提案手法の有効性や実用性を示す。

　第8章は、「将来への展望」と題し、リアルタイム仮想試着システムMIRACLEに今後付加することで、さらなるMIRACLEシステムの可能性を広げるものとして、鏡ディスプレイや個人の感性を反映したシステムとの連携について論じる。

　最後に第9章で、結論と今後の課題について言及している。

以上のように、本論文では、従来は時間で変化する柔軟物の3次元形状をマーカー付きの柔軟物を用いて計測し、2次元表面で表現する簡易化を行うことで、リアルタイムでの形状認識を可能とし、提案方式が柔軟物のモーションキャプチャとして有効であることを証明したものであり、また、その応用として、リアルタイムでの仮想試着システムMIRACLEを実装し、提案した柔軟物のモーションキャプチャシステムが実際のシステムに応用しても耐えうるシステムであることを確認したものであり、その成果は実世界への応用を含め画像処理工学分野に寄与するところ大である。

　よって本論文は博士(工学)の学位請求論文として合格と認められる。