はじめに

被写体の3次元情報を活用した映像制作技術は、将来の臨場感あふれる映像表現の実現に大きく貢献すると期待される。しかし、この映像制作技術を実現するには、人物など動く被写体の3次元情報を高精細に検出する必要がある。しかし、従来の距離検出技術では、演算処理速度や機械的駆動機構、撮像素子の画素不足などの制限要因のため、高精細な距離画像の高速検出は困難であった。

そこで、本論文では、被写体の映像とともに距離画像を高速かつ高精細に検出できる3次元カメラ（Axi-Visionカメラ）の開発と、映像制作への応用について論じる。はじめに、距離検出方式の提案とその原理検証実験を行い、カメラ実現に向けた課題を抽出する。次に、その課題を解決するために距離検出特性の解析と要素技術の開発を行った後、ハイビジョンAxi-Visionカメラを設計・試作し、番組制作へ実用化するとともに、その他の映像制作への応用を検討する。最後に、さらに高分解な距離検出が可能な方式を提案し、その性能を実証することで放送分野以外への応用展開の可能性を高める。

方式の提案と原理検証実験

本論文で提案する距離検出方式は、増加変調光と減少変調光を被写体に照射し、高速シャッターカメラで撮影した画像から、被写体の反射率等の影響をキャンセルして距離画像を求めるものである。この方式は、光ビームの走査機構や煩雑な演算処理が不要で、高速に高精細な距離画像が検出できる特長をもつ。原理検証の実験系を、近赤外半導体レーザーと高速シャッター機能を持つイメージインテンシファイア（I.I.）、CCDカメラで作製した。実験の結果、画素数768 （H） × 493 （V）の距離画像を、フレームレート15Hzで検出することに成功した。また、距離検出分解能は3 cmであり、距離情報を用いた画像抽出や合成に有効な分解能が得られた。一方、課題としては、多くのカメラパラメーターと距離検出特性の関係の詳細な解析が必要であるとともに、光源に関しては、高輝度化と人物撮影の安全性確保、照射範囲の拡大、照射光の均一性向上、影の除去などの課題があげられた。

距離検出特性の解析と要素技術の開発

これらの課題に対し、カメラパラメーターや被写体の撮影条件と、距離検出の信号対ノイズ比（SN比）の関係を解析した。その結果、距離検出SN比は、I.I.の光電変換面の量子効率や受光面積、撮像蓄積時間、光学系の透過率、照射光強度などの平方根に比例し、被写体の距離やレンズのFナンバーに反比例するとの知見を得た。

また、レーザー光源の課題に対しては、高速変調可能な高輝度発光ダイオード（LED）アレー光源を新たに開発することで解決を図った。まず、距離検出に必要な照射光量を算出し、人物撮影時の安全性や面光源の距離検性能への影響を調べ、発光素子の数やアレー配置、配光特性を最適化した。また、変調位相の調整や出力光の安定機構を備えることで、500mW出力と最大50ＭＨzの高速変調駆動が可能なLEDアレー照射装置を開発した。これにより、レーザー光使用時の50倍の照射光強度を可能とするとともに、光照射面積も25倍に拡大できた。また、カメラレンズ周囲へLEDアレー照射装置を近接配置することで、面光源による距離検出特性への影響をなくすとともに、単一レーザー光源使用時の課題であった照射光の影を除去し、干渉縞やスペックルノイズのない均一な光照射を実現し、人物撮影時の安全性も十分に確保できた。このLEDアレー照射装置と大型の色分離光学素子から構成された同軸光学系により、標準テレビ信号ベースのカメラシステムを試作し、距離検出性能を評価した。LEDアレー照射装置による高輝度化で単位面積当たりの光強度は原理検証実験時の5倍となり、距離検出分解も1.8 cmに向上した。さらに、光源の高出力化と光学系の大型化により、撮影範囲もカメラより3 m先の直径2 mの範囲に拡大でき、人物程度の大きさの被写体も撮影可能となった。

ハイビジョンAxi-Visionカメラの設計・試作

次にカメラの実用化に向け、距離画像検出のビデオフレームレート化とハイビジョンクラスの高精細化に取組んだ。前章の解析結果をもとにハイビジョンAxi-Visionカメラ（図1） の設計・指針を検討し、各要素技術の開発を行った。

重要な構成要素であるI.I.の高性能化として、高精細かつ十分な距離検出SN比を確保するために、LEDの中心発光波長850nmに高い量子効率を持つガリウムひ素（GaAs）材料を光電変換面とし、ナノ秒オーダーのシャッター動作を最大50MHzで高速繰返し駆動できる設計とした。また，I.I.の増倍機能を持つマイクロチャンネルプレート（MCP）は信号光の増倍を確保するために2段構成とし，蛍光出力面の発光光量不足を防ぐとともに、GaAs光電変換面へのイオンフィードバックを抑える効果もあり、光電変換面の長寿命化が図れた。さらに、高精細画像撮影のため，MCPのチャンネル直径を6μmと微細化するとともに，光電変換面とMCP，およびMCPと蛍光面間の距離を近接配置することで，高解像度を得ている。

また、カメラ光学系においては、カメラレンズとカラーカメラの間に小型のダイクロイックプリズムを配置し，カラー画像と距離画像を同光軸で撮影できる光学系を開発した。距離検出部の光学系は，可視光の混入を防ぎ，効率よく近赤外光成分を検出するために，ダイクロイックプリズムの透過および反射の波長特性を最適化し、可視光に対し光学濃度が5以上の赤外透過フィルターを設置した。この光学系は，ズームレンズが使用可能で、コンパクトな構成が実現された。また、カメラレンズ周囲へLEDアレー照射装置を多重配置することで，光強度1Wの高出力化を実現している。

ハイビジョンAxi-Visionカメラの距離算出は29.97Hz駆動時, 画素数1280 （H） × 720 （V），59.94Hz駆動時, 853 （H） × 480 （V）であった。距離検出分解能は、光の変調周波数が45MHz、シャッター時間2nsの時、カメラから被写体までの距離が2 mのとき17 mmが得られた。

新規映像制作技術への応用

ハイビジョンAxi-Visionカメラで得られた距離情報を利用した映像合成技術や3次元モデリング、立体映像システムなどへの応用の可能性を検証した。

第1の応用として、Axi-Visionカメラによる距離情報を用いた映像合成手法について基本性能を評価するとともに、CGと実写の前後関係を考慮した3次元的な映像合成手法を開発した。これらの技術を導入したバーチャルスタジオを作製し、番組制作に実用化し、ブルーバックなしの映像合成やCGと実写とのリアルタイム3次元映像合成を可能とした。また、長期間の定時放送にも実用化し、新しい映像演出と効率的な番組制作を実現した。

また、第2の応用として、被写体の3次元モデリングへの応用の可能性を調べた。カメラの距離検出分解能の向上を目的に、本距離検出手法に適した画像蓄積効果によるノイズ低減手法を考案し、所望の時間内での効率的な距離検出ノイズ低減を図り、モデリングに必要な分解能を得た。被写体のモデリングやCG物体との合成実験を行い、実写映像の3次元形状を反映した自然なシャドウイングや合成が容易に実現できることを示した。

最後に、第3の応用として、将来の立体映像システムへの応用の可能性を検証した。距離画像より実時間で奥行き標本化画像を生成する信号処理装置と、ハーフミラーと複数のモニターより構成された立体表示装置を試作した。Axi-Visionカメラとこれら立体表示装置と組み合わせた実験系で、実時間の立体映像の撮像・表示が可能であることを示した。

応用開拓にむけた距離検出分解能の向上

本カメラの放送以外の産業分野への応用拡大を目指し，より高分解能な距離検出手法を考案した。数十ピコ秒の短パルス光と高速可変ゲイン撮影による方法を提案し，実験によりその距離検出性能を検証した。実験では、時間幅68 psの短パルスレーザー光と、I.I.を用いた周期1 nsの高速ゲイン変調を行い、基本特性を測定した結果、距離検出分解能2.4 mmが得られ、従来の約7倍の高分解能化が実現され、より細かい3次元形状の検出も可能であることを実証した。

おわりに

本論文は、被写体の距離画像を高速検出できる3次元カメラの開発と、映像制作分野への応用に関するものである。本研究で開発したAxi-Visionカメラは、ハイビジョンクラスの高精細性と高速性を兼ね備えた初のカメラであり、実際の番組制作へ応用できるとともに、モデリングや立体表示など、3次元映像分野でも活用の可能性がある。さらに、高分解能な距離検出特性が実証できたことで、今後さらに、他の産業分野へも応用範囲が広がるものと期待される。

図1 ハイビジョンAxi-Vision カメラの構成

本論文は「高速距離検出3次元カメラ（Axi-Vision Camera）とその応用に関する研究」と題し，8章からなる．本論文では，LEDアレイによる変調光と高速シャッターカメラを利用し，高速に距離画像を取得できる3次元カメラの原理を提案し，設計，開発した．さらに，要素技術の開発を行いハイビジョンに対応する高精細な3次元カメラ（Axi-Vision）の開発に成功した．この3次元カメラはシーンの距離と色情報を取得することができ，映像制作の現場でも実用に供されている．

第1章は，「序論」であり，本論文の背景と目的，構成について述べている．

第2章は，「3次元画像検出技術の現状と課題」と題し，従来の3次元画像技術を概説している．3次元画像の応用分野と従来の距離検出方式について解説し，三角測量法と光飛行時間計測法に関しての最近のセンシング技術をあげ，その時間，空間解像度を比較している．

第3章は，「距離検出方式の提案」と題し，光飛行時間計測形の距離検出方式として，新しく強度変調照射光と超高速シャッターカメラからなる方式を提案している．提案方式は，光ビームの走査機構や複雑な演算が不要であるため，高速かつ高精細に距離画像を取得することができる．近赤外半導体レーザーと超高速シャッターとなるイメージインテンシファイアとCCDカメラからなる実験システムを構築し，距離検出分解能などの評価を行い，高速な距離検出が可能であることを実装している．さらに，カメラ試作に向けた課題も整理している．

第4章は，「距離検出特性の解析と要素技術の開発」と題する．距離画像のSN比とカメラパラメータや撮影条件との関係を解析している．また，レーザー光源を高輝度化し，人物撮影においても安全を確保するために，高輝度で高速変調の可能な近赤外LEDアレー光源を提案，試作した．さらに，標準テレビ解像度で15フレーム/秒で稼動する3次元カメラの試作システムを構築し，距離検出性能を検証した．

第5章は，「ハイビジョンAxi-Visionカメラの設計・試作」と題する．3次元カメラを実用化にむけてその距離画像の検出をビデオフレームレート化し，ハイビジョンクラスの高精細化を行うためのカメラの設計指針を導出した．そのためのイメージインテンシファイアの高感度化と高精細化，強度変調光の高輝度化などの要素技術の開発を行い，ハイビジョン用3次元カメラ（Axi-Vision）を試作した．

第6章は，「新規映像制作技術への応用」と題し，Axi-Visionカメラの新しい映像制作技術への応用を検証している．一つの応用として，Axi-Visionカメラの距離画像をDepthキーとして用いて，実写映像とCGとのリアルタイム合成の技術を構築した．なお，バーチャルスタジオとして実際の番組制作へ応用されている．二つ目の応用として，高速な3次元モデリングへの応用を行い，CG映像合成におけるライティング，シャドウイングの効果の検証を行っている．三つ目の応用として，奥行き標本形3次元ディスプレイとの組み合わせについて試作を行い，3次元表示実験を行っている．

第7章は，「応用開拓に向けた距離検出の高分解能化」と題し，番組制作以外の医療，セキュリティなどの広い応用を目指して，より高分解能な距離検出手法への展開の可能性を論じている．

第8章は，「結論」と題し，本論文の成果をまとめている．

以上を要するに，本論文では，被写体の距離画像を高速に検出できるハイビジョンクラスの高精細な3次元カメラの原理を提案し，その設計，試作，応用を行ったものであり，画像工学上の貢献は大きい．よって本論文は博士（工学）の学位論文として合格と認められる．