Sky turbidity is defined as the ratio of optical thickness of the haze atmosphere as opposed to molecules; it is widely used in the computer graphics and vision community for modeling the outdoor illumination.

This thesis investigates the sky turbidity and provides three applications for it. Specifically, the sky turbidity is estimated by matching the brightness distribution between a sky model and an actual image. After the sky turbidity is acquired, it is used for modeling the outdoor illumination environment. By using the estimated sky turbidity, we recover the spectral sensitivity of digital cameras from images, estimate the reflectance of outdoor diffuse object from a single perspective image and insert the virtual object into a real scene.

Camera spectral sensitivity plays an important role for many physics-based computer vision methods, such as demosaicing, color correction and illumination estimation.However, less attention has been paid to estimating the spectral sensitivity. This is unfortunate, because this parameter significantly affect the image colors. We have proposed a novel method for estimating the spectral sensitivity from images. The basic idea is to use the sky images from which the spectra of sky can be inferred. Given the input image, the sky turbidity is estimated by fitting the brightness distribution to a sky model. Assuming the sun direction with respect to the camera view direction can be estimated, the sky spectra is calculated from the estimated sky turbidity. Having obtained the pairs of image RGB values and corresponding spectra, the spectral sensitivity is calculated by using basis-functions. The basis functions are extracted from the database which consists of collected spectral sensitivities of different digital cameras. The utilization of the basis functions makes the estimation accurate and robust.

Three-dimension models have been widely used in many fields. The reflectance is necessary for making a realistic 3D model. However, how to estimate the reflectance still remains a challenge, especially for outdoor objects, because it is difficult to precisely model the outdoor illumination. Much effort has been made to capture the outdoor illumination, but these methods need expensive equipments and massive calib- rations. We propose a novel method for estimating the reflectance of outdoor diffuse object from a single perspective image. The sky turbidity is first estimated from the input image, and then the whole illumination condition is recovered from the estimated sky turbidity. The reflectance is calculated from the surface radiance and irradiance value. The proposed method also solves the problem of inter-reflection, which exists between concave surfaces. We assume the object surface consists of hundreds of small facets, and the inter-reflection is calculated as the incoming light energy from all other facets.

The main contributions of this thesis are that a novel sky turbidity estimation method and its three applications. It can be summarized by the four following points: First, the sky turbidity is estimated by matching the brightness distributions between a sky model and an actual image. Second, the estimated sky turbidity is used for recovering the camera spectral sensitivity. Third, the estimated sky turbidity is used to modeling the outdoor illumination for estimating the reflectance of outdoor diffuse object. Fourth, the estimated sky turbidity is used to calculate the aerial perspective, which makes the appearance of the object change according to distance.

本論文は、「ESTIMATION OF ATMOSPHERIC TURBIDITY FROM A SKY IMAGE AND ITS APPLICATIONS」(天空画像からの大気混濁係数推定とその応用)と題している。混濁係数とは、空気中の微小な水分粒子により大気中の物体の色が白色化する度合いを指し示す係数である。本論文は、この混濁係数を、天空画像から得る手法の提案を行っている。次に、得られた混濁係数を用いて、カメラ特性を推定する手法、仮想物体の見えを変化させる方法、物体の反射特性を推定する手法などの応用システムを提案したものであり、六章からなっており、英文で書かれている。

第一章は、「Introduction」(序論)と題され、研究の背景や関連論文ならびに論文全体の概要を述べている。

第二章は、「Atmospheric Turbidity Estimation and its Evaluation」(大気混濁係数の推定とその評価)と題され、大気混濁係数の定義、天空画像から大気混濁係数を推定する手法を提案している。その後、その手法が画像中のノイズによりどのような影響をうけるか、全天画像ではなく、部分画像となることにより推定にどのような影響があるのかなどの点において提案手法の評価について述べている。

第三章は、「Spectral Sensitivity and White Balance Estimation from Sky Images」(天空画像からのカメラスペクトル感度とホワイトバランス推定)と題している。天空画像から得られた混濁係数を用いることで、空のスペクトル分布が得られる。この空のスペクトル分布と実際の天空画像がカメラによりどうRGBの値に変換されるかを比較することで、カメラの色特性を推定する手法を述べている。

第四章は、「Virtual Object Rendering with Aerial Perspective Effect」(空気遠近効果つきの仮想物体の見えの生成)と題している。実シーンにおいて遠方の物体は白色化してみえる。これを空気遠近感と呼ぶ。実シーンに仮想物体を重ねこむ複合現実システムのためには、生成された仮想物体の空気遠近感が背景のそれと類似していないとユーザーに違和感を与える。天空画像から得られる混濁係数を用いて、仮想物体に空気遠近感を与える手法を提案し、これを明日香村で行っているプロジェクトへ実際に適用し評価実験を行ったことを述べている。

第五章は、「Reflectance Estimation from a Single Perspective Image」(単一画像からの物体反射率の推定)と題している。天空画像から混濁係数をもちいて天空全体の光源を推定する。この天空全体の光源から形状既知の物体の見えを生成しこれと画像中の物体の見えを比較することで、物体面の反射率を推定する手法を述べている。この際、相互反射も考慮することでより正確に反射率がもとめられることも示している。

第六章は、「Conclusions」(結論)と題し、全体のまとめとこの論文の寄与並びに今後の展望を述べている。

以上これを要するに、天空画像から大気混濁係数が得られることに着目し、その推定手法の確立と評価、得られた混濁係数と空にスペクトル分布モデルを用いてのカメラの色特性を推定する手法、混濁係数を用いての仮想物体の空気遠近化の付加手法、混濁係数と空のモデルを用いた物体表面の反射率推定法を提案しており、複合現実感システムそれの応用としての仮想歴史体験ツアーや歴史教育分野など様々な分野への展開に役立つことが期待され、その寄与するところは少なくない。

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる。