(本文)

　Shadowing and other illumination effects give human beings rich clues to understand visual scenery. However, for many computer vision algorithms that rely on visual appearance, such illumination effects become more harmful than effective. Especially, proper handling of shadowing effect has been a hard problem that always has been hanging around when computer vision algorithms are taken to outdoor scenes. Though an extensive amount of work has been done for the case of parameterized light sources to solve the problem, practically we cannot expect such preassumptions to hold in outdoor scenes. We are motivated by this background, and our focus is proper handling of scene illumination in a set of images captured using a fixed camera but under several different illumination conditions without knowing the scene geometry nor lighting conditions. This work has two important parts.

　The first part is estimation of scene illumination from a set of images captured under various illumination conditions, and interpolation of captured illumination conditions. In this part, we first introduce an existing method to derive scene illumination image, and propose our approach to enhance the estimates. In addition, to deal with the non-linearity in variation of scene illumination along the time axis, we propose two different approaches for non-linear interpolation of scene illumination which is used to estimate intermediate illumination conditions.

　The second part is manipulation of scene illumination using obtained scene illumination images to enhance the pertormance of computer vision algorithms such as object tracking in outdoor scene. This part can lead to some application areas such as shadow removal from the scene for robust visual surveillance, image-based scene texture editing for computer graphics and enhancement of image segmentation. In this thesis, we investigate on those applications and confirm the effectiveness of scene illumination handling. We also integrated our shadow elimination technique to an existing road traffic monitoring system and confirmed that it enhanced the accuracy of object detection and tracking.

(和訳)

　影を含む照明による影響は,視覚的な環境の構造を理解するための大きな手がかりを人間に与える.しかしながら,これらの照明による影響は多くのコンピュータ・ビジョンの手法に対して,手がかりを与えるのではなく,むしろその精度を下げる要因として問題視されてきた.特に,光線が物体に遮られる際に生じるキャストシャドウは,屋外におけるコンピュータビジョンシステムの性能を低下させる要因として捉えられており,これを適切に処理するフレームワークが求められている.これまでに光源を既知としてこのような問題に対処する研究が多くなされてきたが,屋外環境下では光線の分布が複雑であるため,このような前提を用いることは一般に難しい.このような背景を配慮し,本研究ではシーンの構造・照明条件が未知である画像列中で,照明による影響を適切に処理する手法について検討をおこなう.本論文は,二つの構成からなる.

　前半では,固定視点から撮影された様々な照明条件下の静的なシーンの画像列から,シーンヘ入射する照明分布を示す照明画像を推定,およびその補完をおこなう手法を提案する.この中では,照明画像を推定する既存の手法を拡張し,より正確な照明画像を導く手法について述べる.さらに,得られた照明画像列から,それらの中間的な照明画像を補完する手法について検討する.照明画像の時系列変化は非線形であり,これに対処するために二つの非線形補完手法を提案する.

　後半では,得られたシーンの照明画像を用いて入力画像の照明成分を正規化することにより,屋外での移動物体追跡に代表される,いくつかのコンピュータビジョンアルゴリズムの精度向上に関する検討をおこなう。照明成分の正規化により,入力画像列から影の消去,照明成分に依存しない二次元画像編集,さらに照明による影響を排除した画像を用いた画像分割等のアプリケーションが実現する。本稿では,これらの応用に関する検討をおこない,さらに既存の交通監視システムに本手法を組み込むことで物体追跡の精度が向上したことを確認した.

　本論分は、「Shadow Elimination and Interpolation for Computer Vision and Graphics (コンピュータビジョン・グラフィックスのための影の消去と補間)」と題し、コンピュータビジョン。グラフィックスの分野において困難な問題の一つとされていた影の消去・補間問題を適切に処理するために、中問的な画像表現(照明画像と反射画像からなるイントリンシック画像)の導出・応用および評価をしたもので英文6章から構成されている。

　第1章は、「序論」であり、コンピュータビジョン・グラフィックスの分野における陰影処理の背景、本研究が必要とされる理由、本研究の目的について述べている。

　第2章は、「イントリンシック画像」と題し、従来のイントリンシック画像を導出する手法に関連する背景技術をサーベイし、従来手法を拡張することによりより正確な照明画像(照明成分のみを表現する画像)と反射画像(シーンの反射特性を記述する画像)の推定手法を提案している。さらに、具体的なアルゴリズムを示し、結果の評価をおこなっている。

　第3章は、「イントリンシック画像を用いた照度の正規化」と題し、イントリンシック画像の応用可能性について、3つのアプリケーションを例にとり、その有効性を論じている。一つは「照明成分の正規化」に基づく影の除去、一つは「反射画像を用いたシーンテクスチャ編集」、最後に「反射画像を用いた画像分割精度の向上」である。これらの3つのアプリケーションを提案することで、イントリンシック画像を応用する有効性を明確にしている。さらに、照度成分の正規化フレームワークを提案し、その有効性についても検証している。

　第4章は、「照明画像の非線形補間」と題し、従来から二次元画像上では困難であった照明成分の補間問題に対して、「シャドウハルを用いた手法」と「粗いシーン形状を用いた手法」の2つの補間手法を提案している。それぞれコンピュータビジョン、コンピュータグラフィックスヘの応用を目的としており、各々の有効性を実証している。

　第5章は、「リアルタイムビデオザーベイランスヘの応用」と題し、第3章で提案した照明成分の正規化フレームワークを、既存のビデオサーベイランスシステムに具体的に応用している。さらに、入力画像中の照明成分を直接的に推定する手法として、照明固有空間に基づく手法を提案し、その評価と考察をおこなっている。

　第6章は、「結論」であり、本研究の成果を要約すると共に、今後の展望を明らかにしている。

　以上これを要するに、本論文は、コンピュータビジョン・グラフィックスにおける影の消去と補間問題に対して、これを解決する新しいフレームワークを提案し、さらに画像ベースレンダリングにおける照明補間とビデオサーベイランスにおける影の消去により有効性を実証したものであり、電子情報工学上貢献するところが少なくない。

　よって、本論文は博士(工学)の学位請求論文として合格と認められる。