Digital three-dimensional models created by the computer vision and graphics technique are becoming widely used in a variety of scenes. Specifically, modeling cultural heritage objects have attracted a lot of attention, since such objects are worth preserving and the data can be utilized for restoration when an object faces the crisis of collapse. Automation for creating 3D models have therefore attracted many interest, since currently, most models are created by manual operation; it causes the significant increase of the cost.

To model an accurate appearance of an object, the object's shape and surface reflectance properties are required. Acquiring shape information has been facilitated by the development of sensors and the progress of data processing algorithms, while acquiring surface reflectance properties remains a challenge, specifically with outdoor objects.

This paper targets a large-scale object such as an architectural structure under outdoor environment. The size of target objects is up to around 100 m by 100 m by 50m. Regarding such a huge object, measuring the surface properties becomes a challenge. The appearance of an object can be modeled by mapping image textures to the known shape of the object. To achieve the consistent colors between image textures, the effect of illumination has to be removed, before mapping them, by the surface color estimation and surface reflectance estimation techniques.

Two methods that calculate a surface color by a pixel-based operation are presented. Most previous methods assume uniform illumination in a scene, while this is not always true in images with shadows or with curved objects. The methods enable pixel-based operation by utilizing the illumination change. Two models of illumination colors that we introduce make a surface color to be uniquely determined from two pixel values. First, the paper proposes a method that uses blackbody radiation. It analyzes the stability and practicality of the method. Then, a more practical method that can perform robust estimation is proposed, which uses a statistical model derived from outdoor illumination data. The robust estimation is realized by introducing the plausible range of outdoor illumination colors.

In practical situation, surface reflectance would be required for relighting purpose. A method is presented to estimate surface reflectance from spherical images with known shape information. Spherical images have nearly 360 degree field of view; it captures the target objects and surrounding illumination at one shot. Owing to that, neither specific apparatus nor calibration of exposure times, apertures and camera gain factors is needed. Furthermore, geometric calibration between an image and shape information tends to be robust owing to the characteristic of a spherical camera. Measurement and data-processing cost will be decreased by the method compared to previous methods that need elaborate procedures. This is critical specifically for large-scale objects.

The main contribution of this thesis is that the author has proposed three methods that estimate surface properties of an object. It can be summarized by the three following points: First, the research provides insights of the stability and practicality on pixel-based surface color estimation. Second, a pixel-based method for surface color estimation has been developed that is robust and accurate even for real outdoor objects. None of the conventional methods can perform a pixel-based operation with higher accuracy than the proposed method, so far as the author's knowledge. Third, an efficient method has been developed that estimates surface reflectance of large-scale objects under outdoor environment. The proposed techniques would form the foundation of developing a system that models the appearance of a large-scale object under outdoor environment.

本論文は,「SURFACE COLOR ESTIMATION OF LARGE SCALE DIFFUSE OBJECTS UNDER OUTDOOR ENVIRONMENT(屋外環境下における大規模拡散反射物体の表面色推定)」と題し,全五章で構成され,屋外にある建造物のような大規模な物体の表面色を推定する研究をまとめたものであり,英文で記述されている.物体の表面色とは,照明条件によらない物体の特性を表す情報であり,表面色から様々な照明条件での色を合成することができる.表面色は,物体の見えを計算機で再現する際に欠かせない要素であり,実物体のデジタルモデル化など,デジタルコンテンツ作成の重要性が増す中で,この研究が物体(特に屋外物体)の光学情報取得の自動化,及び簡易化に寄与するところは大きい.

第一章は,「Introduction」と題し,実物体のモデル化における,光学情報の取得に関する研究例を紹介している.大規模な屋外物体の光学情報を取得する技術として,コンピュータビジョンにおける色恒常性(表面色度推定),及び表面反射率推定の手法が存在するが,従来研究で課題となっている(1)画素単位で表面色度を推定すること,(2)簡易に表面反射率の推定を行うこと,が屋外大規模物体に不可欠であることを示し,これを研究目的として提起している.問題(1)に関しては二つの手法が提案されており,物理法則に基づく理論的な解法が第二章に,これを実用に近づけた手法が第三章に述べられている.問題(2)は,第四章に述べられており,全周画像と幾何形状を用いることで解決を行っている.

第二章は,「Estimating Surface Chromaticity from Blackbody Illumination」と題し,屋外光の分光分布が黒体放射で近似できることに基づき,二種類の黒体光源下で撮影された物体の色度から,表面色度が一意に決定できることを解析的に示している.手法の新規性は,黒体放射の式(プランクの法則式)を光源色のモデルとして直接用いることにある.また,センサの分光感度の応答帯域が非常に狭いことを仮定している.結果として,理論値では真値に収束するが,実測値では推定誤差が膨大になることが分かった.誤差要因の解析から,黒体放射の仮定と応答帯域の仮定の重要性が示される.これより,手法のロバスト性について議論と,その限界について考察している.

第三章は,「Robust Framework to Estimate Surface Chromaticity from Illumination Changes」と題し,第二章の結果を受けて,より実用に近づけた手法が提案されている.屋外光の有限の色範囲を示す線分を利用し,推定値を線分内に制限することで,ロバストで正確な推定を実現している.また,入力値に含まれうる誤差をモデル化し,平均的な誤差が含まれた場合でもロバストな推定が行える条件が考察されている.光源,及び表面色の多数の組み合わせの実験が行われており,結果は手法の有効性を示している.後半では,影と日なたの領域を用い,単画像からの表面色度の推定を実現している.影と日なた部分では照明色が異なるため,提案手法が適用できる.屋外の実物体を含む実験結果は,手法の有効性を示している.

第四章は,「Estimating Surface Reflectance Using Spherical Images」と題し,拡散反射物体の反射率を,一視点での計測から推定する効率的な手法を提案する.本稿で使用されたカメラは360度の75%を占める視野を有するため,照明と物体の放射輝度を一度に撮影することができる.したがって,物体の幾何形状を既知とすれば,照明の影響を計算し,これを除去して反射率を推定することができる.本手法により,データ計測,及び処理のコストは従来手法に比べ大幅に削減できる.また,大きな利点として,照明と物体の放射輝度を撮影するカメラが同一であるため,カメラの絞り,露光時間,電気的な増幅などのパラメタの情報を必要としない.屋外での実物体を対象とする実験結果は,手法の有効性を示している.

第五章は「Conclusion」と題し,本論文の成果を要約すると共に今後の課題が示されている.

以上これを要するに,本論文では,屋外の建造物のような大規模物体の表面の特性を推定する基礎的な技術を開発するという目的の下,表面色度推定の手法,及び,表面反射率推定の手法が提案されている.表面色度推定に関しては,物理法則に基づく解析的な手法と,より安定に推定を行う実用的な手法の二種類が提案されている.二手法とも光源色の変化を用いるため,画素単位での処理が実現されている.表面反射率推定では,全周画像を利用した効率的な手法が提案されている.これらの技術は,社会性・実益性の観点からも関心の高い文化遺産のディジタル保存への展開に役立つことが期待され、電子情報学上貢献するところが少なくない.よって本論文は博士(情報理工学)の学位請求論文として合格と認められる.