一般に、「立体感を伴う視覚情報」を総じて「3次元画像」という。これまで、3次元画像通信に関する研究としては、多種多様な3次元画像フォーマット(ステレオ画像、多眼画像、ホログラム、ポリゴンモデルなど)に対して個別の手法が検討されてきた。しかし、3次元ディスプレイ技術の進歩に伴い、今後も様々なフォーマットの登場が予想されるため、個々のフォーマットに特化したシステムの設計は必ずしも得策とは言い難い。むしろ、様々なハードウェア技術に柔軟に対応できる情報基盤技術の確立が重要であると考えられる。

　そもそも個々の3次元画像フォーマットの違いは、結局のところ撮影や表示方式の違いであって、本質的に必要なのは「3次元空間そのものの情報」である。そこで本論文では、あらゆる3次元画像を統一的に扱うシステムの実現へ向けて、情報の記述・伝送を行う段階で各種入出力技術の違いを吸収できる「空間記述方式」に関する研究を行った。特に本研究では、単なる空間情報の記述に留まらず、効率的な圧縮・伝送を考慮した「空間符号化」に重点を置き、送信者と受信者が同じ空間を共有する「空間共有メディア」の可能性について検討した。

光線記述に基づく空間符号化

　視覚とは、空間を伝搬する光線によって引き起こされる感覚であるから、「空間を伝搬する全ての光線の情報を伝送」することによって「空間の視覚的伝送」が達成されることになる。3次元空間中の光線は、その通過位置(X,Y,Z)と方向(,)によって区別され、各光線の情報(色や輝度)を別々に記録するためには、5次元情報空間f(X,Y,Z,,)を定義する必要がある。

　ここで、図1のように、空間が境界面Sによって「記述される空間」と「観察者のいる空間」に分割される場合を考える。光線が実空間内を減衰せずに直進するものと仮定すると、点Oの位置における画像は、Sを通過してOまで到達する光線の情報を集めることによって仮想的に合成することができる。すなわち、Sにおける光線情報さえ記述されていれば、Oにおける光線情報を別に記録しておく必要はない。この場合、S上での位置座標系を(P,Q)で表すと、Sを通過する全ての光線の情報の格納には、4次元情報空間f(P,Q,,)で十分であることが分かる。

図1: 射影に基づく光線情報の効率的記述

　以上のように、光の波動的な性質が無視できる場合には、本質的な情報を失うこと無く、5次元の情報空間を4次元に射影することができる。本論文では、全ての光線情報の記述が可能であり、かつSの形状に依存しない射影法を以下のように定式化した。

　

　2次元部分空間f(P,Q)│＝₀,＝₀には、(₀,₀)方向の全ての光線、すなわち「記述される空間」を(₀,₀)方向に正投影した画像が記録されている。よって、位置(X,Y,Z)で撮影された透視投影画像は、式(1)に従って、各光線方向の正投影画像PQにマッピングされる。逆に、f(P,Q,,)中の各正投影画像から、式(1)に従って適切な光線情報を読み出すことにより、任意視点位置における透視投影画像を合成できる。

光線情報の補間と圧縮

　撮影によって得られる光線情報は、4次元情報空間の一部に過ぎない。高い臨場感を実現するためには、補間処理によって隙間を充填する必要がある。また、膨大な情報量を要する4次元情報空間の効率的な圧縮手法の開発も必要不可欠である。

　まず、多眼画像に視差補償予測の考え方を応用した圧縮手法について検討した。その結果、約1/270の圧縮率でSNR38dBという画質が得られた。しかし、視差補償の効率は、3次元画像の入力方式に大きく依存したものであるという欠点がある。

　そこで、次に光線情報を記録した多次元情報空間に対して、解像度可変のフラクタル符号化を適用した。その結果、復号時に情報空間の解像度を変えることにより、実際には撮影の行われていない仮想的な視点位置における画像の合成が可能であることを確認した。SNRについては、原画像に対する圧縮率が約1/120のとき38dBとなった。したがって、原画像のみを再生する場合には視差補償方式の2倍以上の情報量を要していることになるが、例えば3倍高い解像度で復号した場合には、合成画像の画素当りの情報量はむしろ圧縮されていたことになる。情報圧縮と画像補間(光線情報の補間)を同時に実現する手法としての本手法の有効性が実験的に確認された。

　また、3次元画像入力から、局所的に空間の構造推定を行い、光線情報の補間を行う手法について検討した。図2に示した実験結果より、本手法によって視覚的に良好な仮想画像を合成できることが分かる。また、従来の大局的な1つの構造モデルを求める手法に比べ、局所的に都合の良い構造モデルを切り替えて使用する本手法では、構造的な歪みが生じ難い分だけ視覚的に良好な補間処理を実現できることを確認した。

図2:光線情報記述からの仮想画像合成

　続いて、重要度の高い情報から階層的に伝送する手法について検討した。その結果、PQ平面を階層的に伝送する場合には近景に、平面の場合には遠景に、それぞれ歪みを生じることが実験的にも理論的にも確認された。視覚的な劣化を最小限に抑えるためには、PQおよびに対する階層的な伝送を適応的に組合わせる必要がある。

光線情報の構造化

　人は画像に対して容易に編集・加工を行うことができる。これと同様に、空間に対する何らかの操作を実現するためには、4次元情報空間を人にとって取り扱い易い形に構造化しておくことが重要である。

　本論文では、K平均アルゴリズムを用いて、多次元情報空間の領域分割を行う手法について検討した。その結果、1つの物体から発せられる全ての光線情報を多次元情報空間内の1つの領域として取り扱うことが可能となった。

　さらに、この領域分割結果を用いて、各領域毎に構造モデルを当てはめる手法について検討した。図3に合成されたモデルを示す。本手法では、予め領域分割を行うことにより、オクルージョンを発生する部分に対しても良好な記述が可能となった。なお、本手法は、空間に対して何らかの操作を加える必要がある場合に適用可能であり、視覚的な伝送だけを考えるのであれば、光線情報をそのまま伝送すればよい。

図3:構造モデルを用いて合成された仮想画像

　本論文は、「光線記述に基づく空間符号化と空間共有メディアに関する研究」と題し、あらゆる3次元画像を統一的に扱う情報環境の実現を目的として、各種の3次元画像の取り扱いを「空間における光線情報の記述問題」として定式化し、特に効率的な圧縮・伝送を考慮した「空間符号化」に重点をおいて、送信者と受信者が同じ空間を共有する「空間共有メディア」の実現可能性について論じたものであって、全体で9章からなる。

　第1章は「序論」であり、現在の画像メディアの限界を指摘し、次世代の視覚メディアに望まれる様々な機能について論ずることにより、本論文の背景と目的を明らかにしている。

　第2章は「3次元統合画像通信の構想」と題し、様々な3次元ディスプレイ方式の研究が現在でも精力的に行なわれていることに鑑み、システム的な立場から、これらの違いを吸収できる柔軟な3次元統合情報環境の構築を提唱している。また、本論文における全ての研究がこの枠組みの中で行なわれていることを明らかにしている。

　第3章は「光線記述に基づく空間符号化」と題し、空間を満たす光の情報に着目した空間記述手法について論じている。さらに、この手法を応用した統合的な3次元画像情報環境の実現に向けて、その要素技術を整理し、第4章から第8章における具体的な検討の位置付けを行なっている。

　第4章は「光線情報の効率的記述」と題し、幾何光学的な近似が成り立つ(すなわち、光の減衰や干渉の影響を無視できる)場合を想定し、本質的な情報を失うことなく、光線情報を効率的に扱う手法を提案している。具体的には、平面記録、円筒記録、球面記録なる3通りの光線情報の記述方法を定式化し、それぞれの特徴を整理している。また、正投影画像の集合として空間情報を記述する本手法の有効性を明らかにしている。

　第5章は「画像情報から光線情報へ」と題し、第4章で定義した光線情報の取得方式について論じている。また、カメラをコンピュータ制御する撮像系を構築して、光線情報の取得という観点から、撮像系の最適な制御方式に関して基礎的な検討を行なっている。

　第6章は「光線情報の補間と圧縮」と題し、第5章の手法で取得された光線情報を多次元情報空間に格納し、その中で補間処理を行なった上で、効率的に圧縮・伝送する手法について述べている。具体的には、まず従来の画像符号化技術と整合性が高い視差補償予測符号化について検討している。さらに、フラクタル符号化に基づく手法を新たに提案して、両者の比較を行なうことによって、情報圧縮と光線情報の補間を同時に実現する手法として提案手法(フラクタル符号化)が有効であることを実験的に明らかにしている。

　また、光線情報の補間を目的として、局所的な構造推定を行なう手法を提案し、従来の大局的な構造モデルを求める手法に比べて、提案手法が視覚的に良好な補間処理が実現できることを明らかにしている。さらに、重要度の高い情報から階層的に伝送する手法を提案して、その階層化の手順によって生じ得る歪みについて検討し、光線情報の階層的伝送に向けた指針を示している。

　第7章は「光線情報の構造化」と題し、空間に対して物体の移動や変形などの操作を施すことを目的として、第6章の補間処理を施した多次元情報空間を、操作しやすい形に構造化する手法を提案している。具体的には、K平均アルゴリズムを用いて、多次元情報空間の領域分割を行う手法を提案し、1つの物体から発せられる全ての光線情報を多次元情報空間内の1つの領域として取り扱うことを論じている。さらに、この領域分割結果を用いて、各領域毎に構造モデルを当てはめる手法を提案している。

　第8章は「空間共有メディアの実現」と題し、第4章から第7章までの成果を組合わせて、様々な形態の空間共有メディアを実現することを検討している。具体的には、ホリゴンモデルで記述された空間に光線記述された物体を配置することの検討、光線記述された空間に同じく光線記述された物体を配置することの検討などを行ない、これらを通じて実空間から得られた情報を基にリアルな仮想空間を実現することを論じている。

　さらに、物体の形状モデルを利用して、物体に対する変形操作を行ない、その結果を光線情報に反映することによって、視覚的に良好な空間操作が実現されることを実験的に示している。

　第9章は「結論」であり、本研究で得られた成果をまとめると共に、将来の展望について述べている。

　以上を要するに、本論文は、3次元統合画像通信の構想に基づき、空間情報の光線記述方式を定式化して、その取得・補間・圧縮・構造化手法を提案し、それを空間共有メディアに実装することを論じたものである。これらの検討は、将来の柔軟な空間共有通信システムの構築の基盤となるものであって、今後の電子情報通信工学の進展に寄与するところが少なくない。

　よって、博士(工学)の学位論文審査に合格したものと認める。