Appearance of objects in captured images and videos not only relies on objects themselves, but also depends on imaging sensors and illuminations significantly. Therefore, investigating how light emitted from light source interacts with objects and sensors has been an important problem for a variety of applications in computer vision field. It is well known that light spans in a wide wavelength range, and this interaction should be analyzed in spectral domain. However, it is hard to carry out the analysis because dominating equipments usually provide RGB 3 values only which are far from enough for spectral information estimation in the visible wavelength range. To deal with this problem, we present a framework for estimating spectral information of objects, cameras and illumination in this theirs.

First, we show a system to recover spectral reflectance of objects with high temporal resolution. Spectral reflectance offers intrinsic characteristics of real objects that are independent of illuminations and sensors. This direct representation about the object is useful for solving many computer vision problems. However, existing methods for spectral reflectance recovery are limited either by their low temporal resolution or requirements for special hardware. To remove these limitations, we present a novel system for spectral reflectance recovery by exploiting the unique color-forming mechanism of Digital Light Processing (DLP) projectors. DLP projectors use color wheels which are composed of several color segments and rotate quickly to produce desired light. We make effective use of this mechanism and show that a DLP projector can be used as a light source with spectrally distinct illuminations when we capture scenes' appearance under the projector's irradiation by a high-speed camera. Our imaging system is built on easily available devices and capable of conducting spectral measurements at 100Hz. Based on the measurements obtained by our system, spectral reflectance of the scene is recovered using a linear approximation of surface reflectance. We carefully evaluate the accuracy of our system and demonstrate its effectiveness by spectral relighting of dynamic scenes with fast-moving objects.

Then, we use fluorescence to estimate camera spectral sensitivity under unknown illuminations. Camera spectral sensitivity is an indispensable factor for various color-based computer vision tasks. Though several methods have been proposed to estimate it, their applications are all severely restricted by the requirement for a known illumination spectrum. In this thesis, we present a single-image estimation method using fluorescence with no requirement for a known illumination spectrum. Under different illuminations, the spectral distributions of fluorescence emitted from the same material remain unchanged up to a certain scale. Thus, a camera's response to the fluorescence would have the same chromaticity. Making use of this chromaticity invariance, the camera spectral sensitivity can be estimated under an arbitrary illumination whose spectrum is unknown. Through extensive experiments, we proved that our method is accurate under different illuminations. Finally, based on the estimated camera spectral sensitivity, we show how to recover spectra of daylights with high accuracy. Making use the estimated camera spectral sensitivities and daylight spectra, color correction problems can be solved. Results show that images after the correction match the target images well.

本論文は「Estimating Spectral Information of Reflection, Cameras, and Illumination」(物体反射・画像センサ・光源の分光情報推定に関する研究)と題し、厳密な画像解析や画像合成において重要となる画像の波長依存性に関する情報、具体的には、物体の分光反射率、カメラの分光感度特性、光源の分光輝度分布を推定するための手法を提案し、その応用についてまとめたものであり、全体で5章で構成されている.

第1章「Introduction」(はじめに)では、本研究の背景と目的について論じた後、本論文で提案される3つの手法の概要について述べている.

第2章「Estimating spectral reflectance of objects in dynamic scene」(動きを伴うシーンにおける物体表面の分光反射率の推定)では、早い動きを伴うシーンにおいて物体表面の分光反射率の推定を可能とする手法が提案されている.画像解像度を損なうことなく物体表面の分光反射率を求めるためには、光源もしくはカメラの分光特性を変えながら複数画像を取得する必要があり、動物体を上手く扱えないという問題が存在した.これに対し、本研究では、単板方式のDLPプロジェクタが有するカラーホイールによる時分割複数色投影という機構に着目し、高速に色を切り替えられる光源としてDLPプロジェクタを用いた物体分光反射率推定アルゴリズムを考案し、100Hz以上の速度での物体表面分光反射率の計測を世界で初めて実現している.

第3章「Camera spectral sensitivity estimation without illumination spectrum」(未知の光源下におけるカメラ分光感度特性の推定)では、光源の分光輝度分布が分からない場合であっても一枚の画像からカメラの分光感度特性を推定可能な手法が提案されている.これまで、光源の分光輝度分布とカメラの分光感度特性の両方が未知の場合、カメラ分光感度特性の推定は不良設定問題となり、解を求めることが困難と考えられていた.これに対し、本研究では、蛍光の分光輝度分布は光源の分光輝度分布に依存せず、各蛍光物質固有の特性により決まるということに着目し、カラー画像中の蛍光成分を解析することにより、光源の分光輝度分布が与えられていない場合であっても、一枚の校正用画像のみからカメラ分光感度特性を推定可能なアルゴリズムを新たに提案している.さらに、人工画像および実映像を用いた実験により提案手法の有効性が示されている.

第4章「Daylight spectrum estimation」(屋外光の分光輝度分布の推定)では、第3章の蛍光を利用したカメラの分光感度特性の推定手法の応用として、屋外光の分光輝度分布の推定とそれを用いたカラー画像の厳密な色補正の枠組みについて述べられている.従来広く用いられているマクベスカラーチェッカーなどの色校正用指標の代わりに、本研究で提案する蛍光物質を含む色校正用指標を用いることにより、光源の分光放射輝度やカメラの分光感度特性を事前に求めることなくカラー画像の厳密な色補正が可能となり、その実用上のメリットは大きいと言える.

第5章「Conclusions」(おわりに)では、では、本研究の新規性と技術的貢献をまとめた上で、今後取り組むべき課題を述べている.

以上これを要するに、本論文は、コンピュータビジョンによる画像の色・明るさ解析やコンピュータグラフィックスによる画像合成において重要となる物体反射・画像センサ・光源に関する分光情報を如何にして獲得するかという課題について解決法を示し、実験を通じその有効性を評価したものであり、電子情報学上貢献するところが少なくない.

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.