本論文は、「空間共有通信における個人性を考慮した音場情報の処理」と題し、空間共有通信システムにおけるより高度な臨場感の実現を目的として、視覚情報のみならず聴覚情報(音場情報)を提示するにあたって生じる問題点の解決手法に関して論じたものであり、全体で10章からなる。

　第1章は「序論」であり、空間共有通信における音場情報の提示の重要性を指摘すると共に、音場情報を提示するにあたっての問題点に触れ、本論文の背景と目的を明らかにしている。

　第2章は「3次元音響技術の概観」と題し、音の方向知覚の基本的な機構を説明するとともに、音場情報の提示に関して従来大きく分けて2つの手法が存在することを概観し、それらの手法の問題点を整理している。ここから、様々な音場提示手法を相互に結び付ける必要性、映像提示装置と音場提示装置の相互干渉の問題、および受聴者特有の特性すなわち頭部伝達関数の個人差に起因する問題を指摘し、本研究が課題とするところを明確にしている。

　第3章は「音場情報の中立的記述」と題し、第2章で指摘した様々な音場提示手法を相互に結び付ける必要性に対し、音圧分布の形で音場情報を取得することにより、従来の音場提示手法のそれぞれに適した形の音響信号に変換可能であることを示している。これを音場情報の中立的記述として提案し、音場情報の柔軟な利用方法に関して検討している。

　第4章は「スピーカアレイを用いた空間共有システムの構築と特性解析」と題し、第2章で指摘した映像提示装置と音場提示装置の相互干渉の問題を解決することを目的としてスピーカとスクリーンを融合した提示装置を製作し、マイクアレイと組み合わせて空間共有通信システムを構築している。また、このシステムに関してシミュレーションによる特性解析を行い、補正を加えることにより正確な音場再現が可能であることを示している。

　第5章は「空間共有通信における実音場情報の非対称な伝送」と題し、第3章で提案した中立的記述の概念を用いて、4チャンネルのマイクアレイを用いて音圧分布の形で取得した入力信号を、2チャンネルのスピーカを用いたトランスオーラル方式の出力信号に変換して提示するという非対称な音場情報伝送システムを構築し、中立的記述の概念の有効性を検証している。また、実写ステレオ映像と組み合わせることにより映像と音像を融合して提示し、臨場感の高い空間伝送を実現している。

　第6章は「簡易な手法によるインタラクティブなトランスオーラルシステム」と題し、第5章で用いているトランスオーラル方式においては受聴者の頭部の動きに制約があるという欠点に対し、簡易な方法でその制約をある程度解消し頭部の動きに対応した音像提示を可能とする手法を提案している。また、主観評価実験によりその有効性を示している。

　第7章は「個人志向ダミーヘッドマイクの製作および頭部伝達関数の測定」と題し、第2章で指摘した頭部伝達関数の個人差の問題に対し、個人差の解析に使用するための頭部伝達関数のデータ測定を行っている。このとき人間に対して精密な測定を行うことは負担が大きく困難であるため、代替手段として特定個人の頭部形状を忠実に模した音響計測用マネキン(ダミーヘッドマイク)を製作し、これにより測定を行っている。ダミーヘッドマイクとそのモデル本人の頭部伝達関数の比較により、ダミーヘッドマイクが十分に個人の特徴を反映しており、有効であることを示している。

　第8章は「頭部伝達関数のリアルタイム畳み込みソフトウェア」と題し、第7章で取得したデータを含む複数被験者およびダミーヘッドマイクの頭部伝達関数データを使用した実時間畳み込み処理ソフトウェアの製作に関して述べている。これを用いることにより頭部伝達関数の個人差を考慮したインタラクティブな音像提示が行えるほか、第9章で行う主観評価実験に使用している。

　第9章は「頭部伝達関数の解析とクラスタリング」と題し、頭部伝達関数をクラスタリングして幾つかの代表的なデータを抽出し、これを用いて個人差を補正する手法に関して論じている。その際、音源の方向の変化に対する頭部伝達関数の変化を、主成分分析によって得られた直交基底空間における軌跡としてとらえ、この軌跡が頭部伝達関数の個人差を表すことを用いてクラスタリングを行っている。クラスタリングにより得られた幾つかの代表的な頭部伝達関数により個人差を補正可能であることを主観評価実験により示し、幾つか得られた知見に関して述べている。

　第10章は「結論」であり、本論文の主たる成果をまとめると共に、今後の課題について述べている。

　以上を要するに、本論文は、空間共有通信においてより効果的な音場情報の提示を行うことを目的として、通信において音場情報を柔軟に取り扱うための中立的な記述の提案、映像と組み合わせた提示システムの構築、および頭部伝達関数の個人差に関する問題に対してこれを補正することを目的とした検討を行ったものであり、今後の電子情報通信工学の進展に寄与するところが少なくない。

　よって本論文は博士(工学)の学位請求論文として合格と認められる。

　近年の計算機性能の急速な向上、あるいは通信速度の向上は著しいものがある。この進歩により、物理的に離れた空間を結びつける空間共有通信システム、あるいは仮想空間環境構築システムにおいて、より高度な臨場感の実現を目指した研究がますます盛んに行なわれている。しかし一口に臨場感といっても、その要素は様々である。視覚・聴覚・触覚・嗅覚・味覚といった様々な感覚があいまって、臨場感へと結び付いている。中でも、目を閉じていても流れ込んでくる聴覚情報は、臨場感を高める上で必要不可欠な要素であろう。

　本論文では、空間共有通信における聴覚情報の提示手法に関して研究を行った。大きく分けて2つある音の提示手法を結び付ける中立的記述を提案し、音場情報の柔軟な利用方法に関して検討した。また音の提示に際して大きな問題となる受聴者の個人差に対し、個人差を考慮した提示を行う手法を検討した。

音場情報の中立的記述

　聴覚情報の提示手法は大きく分けて以下の2つのアプローチがある。

　・ある大きさの空間内全体の音圧を正しく再現する手法

　・左右の鼓膜の直前の音圧のみを正しく再現する手法

　前者は音に関する波動方程式(Kirchhoff積分公式)を解く必要があり、後者は音源から耳への空間伝達関数(頭部伝達関数)を扱うことが必要となる。従来これら2つの手法の間に接点は無かった。しかし通信を行なおうとする設備間で音場情報取得・再生の手段が異なっていることは充分考えられる。高い臨場感を持つ通信を自由に行なうためには方式間の差を乗り越え、情報を自由に相互利用できることが望ましい。

　Kirchhoffの積分公式に基づく音場合成理論によると、ある閉曲面S上の音圧と面の法線方向の音圧勾配を完全に制御することが可能であれば、閉曲面Sの内部領域Dの音場を完全に再現できることができる。ここで図1のように、Kirchhoff積分による方式で再現されている音場の中で受聴者が音を聞いている状況を考える。境界面上の各制御点から受聴者の耳に音が届いており、たくさんの制御点からの音の寄与が足し合わされることによって、結果的に音場が再現されて聞こえることがわかる。この場合には、境界面上の音圧情報に対して頭部伝達関数を畳み込み処理してやることにより、提示方式の変換が実現可能である。

　また境界面を設けることで、受聴者の頭部形状による影響等の個人性が含まれる領域(境界面内側)と、含まれない領域(境界面外側)を分離して扱うことが可能となる。

スピーカアレイを用いた空間共有システムの構築と特性解析

　空間共有システムにおいて、複数人が様々な位置で音場を受聴できるシステムを構築するには、Kirchhoff積分公式を利用し、閉空間内の音圧を再現する手法が適している。しかし大画面立体映像表示システムと組み合わせようとすると、スクリーンによりスピーカの設置場所が制限を受ける。そこで、映像との融合が容易になるよう考慮した音場通信のモデルについて提案し、そのモデルを実装したシステムを構築した。さらに、シミュレーションによって特性解析を行い、今後同様な手法で音場合成を試みる場合の設計指針を示した。

空間共有通信における実音場情報の伝送

　空間共有通信において、入力側がマイクアレイ、出力側が2チャンネルのスピーカという非対称な通信を想定し、音場の中立的記述の概念でそれらを結び付けるシステムを構築し、音場情報の伝送実験を行った。またこの実験では、4眼カメラを用いた広視野角ステレオ画像通信システムと組み合わせ、実音場情報をスピーカで、立体映像をスクリーンで提示し、遠隔地との空間共有を実現した。

頭部伝達関数の測定および個人志向ダミーヘッドマイクの作成

　左右の鼓膜の直前の音圧のみを正しく再現する音場提示手法においては、頭部伝達関数を用いた畳み込み処理が必要不可欠である。頭部伝達関数は音源から耳への空間伝達関数であり、耳介や頭部の形状に強く依存する。これらの形状は人によって千差万別であり、他人の頭部伝達関数を用いて再現した音はうまく定位しないということが起こる。

　このような頭部伝達関数の個人差を解析するためのデータを得るために、複数人の被験者に対して測定を行った。ただし、測定には多くの時間がかかるため、生身の人間に関して詳細なデータを得ることは容易ではない。そこで2名の被験者に関して頭部や耳介形状を型取りして個人を忠実に模したダミーヘッドマイクを作成し(図2)、これを用いて詳細な頭部伝達関数の測定データを取得した。

頭部伝達関数の解析とクラスタリング

　頭部伝達関数の個人差のため、万人に効果のある音場情報提示システムを構築することは困難である。そこで、頭部伝達関数を調節して個人差に適応させるシステムの構築を目的とし、複数被験者による頭部伝達関数データベースを用いて、個人差の要因の解析を行った。音源の方向に応じて頭部伝達関数が変化する様子を、主成分分析による直交基底空間中の軌跡として捕らえ、それに着目することによって、似た特徴を持つ頭部伝達関数をクラスタリングした。そこから幾つかの特徴的な頭部伝達関数を抽出し、それらが個人差を補償可能であるか、有効性を検証した。また抽出したデータを用いたリアルタイム音像提示システムを構築した。

磁気センサとトランスオーラル処理を用いた音像の定位

　ヘッドホンを用いて音像を提示すると、周囲の音はヘッドホンに遮られてしまう。複合現実感システムのように仮想世界と現実世界の聴覚情報の融合を考える上では適切な方法とは言い難い。このことから、スピーカを使ったシステムが有効であると思われる。しかし受聴者の動きに合わせてリアルタイムに音像を定位させるスピーカシステムを構築することは容易ではない。そこで固定的な(スピーカと頭部の位置および向きに制約のある)トランスオーラル処理を用いてこれを実現する簡易なシステムの構築を検討した。

　音像の提示装置に音像の提示位置の情報を与える方法について、磁気センサによって得られる情報のうち、頭部の位置情報を利用し向きの情報は用いないトランスオーラルシステムにより、上記簡易システムが実現可能であることを期待し、それを検証するための実験を行った。

　頭部の向きの情報に関する実験からは、向きの情報を利用しない場合は、頭部を正面方向から−45°回転させていても、−30°から+30°の領域ではほぼ正しい方向に定位することがわかった。一方向きの情報を利用した場合は、音像の定位方向にずれが生じてることがわかった。このことから、本システムにおいては頭部の向きの情報は利用しない方が良いことが確かめられた。

　頭部の位置情報に関する実験からは、頭部の位置情報を用いれば、少なくとも音像の左右の方向は正しく認識されることがわかり、頭部の位置情報を利用する方が良い事が確かめられた。

　これらの結果を踏まえ、4通りの音像提示方法を用意し比較試聴実験を行った。その結果期待通り、頭部の位置情報は用い、向きの情報は用いないシステムが評価された。

結論

　本論文では、空間共有通信における聴覚情報の提示手法に関して研究を行った。大きく分けて2つある音の提示手法を結び付ける中立的記述を提案し、幾つかの音場情報提示システムに関してその有効性を検証した。また、頭部伝達関数の個人差の問題に着目し、主成分分析を用いた個人差の解析やクラスタリング、個人差を考慮した音像提示システムを構築した。本研究は、空間共有通信におけるより効果的な音場情報の提示に貢献するものである。

図1:提示方式の変換

図2:個人志向ダミーヘッドマイク