Designing natural phenomena with computer is one of the most important and challenging topics in computer graphics. While recent progress in computer graphics technologies has made it possible to render a three dimensional (3D) natural phenomena realistically and beautifully, design and control of 3D natural phenomena are still difficult tasks, because of a lack of efficient user interfaces. Existing tools typically impose two different processes on the users. One is parameter tweaking for designing appearance and behavior of natural phenomena, and the other is to render the scene and to make sure that the result is what the designer wants. These two processes cause numbers of iterations of trials and errors, where the user has to switch alternately between two processes through out the whole design process. To address these issues, we propose three basic principles for designing efficient and productive user interfaces for authoring natural phenomena in computer graphics: 1) user interface should be appearance-based, that is, the user directly works on rendering result and the system automatically adjusts internal parameters. 2) Separate user interfaces should be provided for low and high frequency components. Low frequency component should allow directly control by the user while high frequency component should be synthesized by the system under user's guidance. 3) User interface should support iterative design process allowing fast exploration of various scenarios.

After a short introduction, motivation and list of contributions, we review the current standard user interfaces for computer graphics design process. We built describe four experiments of systems to verify the effectiveness of the proposed principles.

Our first experiment is interactive design technique of 3D botanical trees that allows the user to quickly and easily design 3D models of botanical trees using freehand sketches and additional example-based editing operations. The user of existing methods, like L-systems or the other rule-based systems, has to specify production rules and adjust their parameters to design a 3D tree. In contrast, our system generates a 3D geometry from a two-dimensional (2D) sketch using the assumption that a botanical tree spreads their branches so that the distances between the branches are as large as possible. User experience demonstrates that our interface lets novices design a variety of reasonably natural-looking trees interactively and quickly.

Our second experiment is single-view relighting system that allows the user to change the illumination in a photograph, especially the direction of the illumination. This requires to the user must reconstruct the 3D geometrical information. Instead of modeling the geometry using existing 3D software, we propose pen-based interactive method, by which the user can quickly draw an approximate normal map directly over a photograph using tilt-sensitive tablet. The photo and the approximately painted normal map are then given as input to a novel algorithm that estimates the original illumination condition, refines the normal map, and assigns reflectance information to every pixel. We present relighting results for a variety of scenes, and use our technique to match the illumination of multiple photographs.

Our third experiment is interactive design system of all-frequency lighting that provides an appearance based user interface for artists to efficiently design customized image-based lighting environments. Our approach avoids typical iterations of painting an environment map, rendering, and confirmation processes by providing a set of intuitive user interfaces for directly specifying the desired appearance of the model in the scene. Then the system automatically creates the lighting environment by solving the inverse shading problem. To obtain a realistic image interactively, all-frequency lighting is used with a spherical radial basis function (SRBF) representation. Rendering is performed using pre-computed radiance transfer (PRT) to achieve a responsive speed. User experiments demonstrated the effectiveness of the proposed system compared to a previous approach with paint softwares.

Our final and fourth experiment is example-based fluid video synthesizer, where we propose a novel method for designing a fluid animation from single still like photograph or picture and example videos. Using our system, the user can make still fluids in the image move. Our system can synthesize fluid behaviors extracted from example videos on the still fluids. Our system allows the user to control the animation by three factors: 1) the user can control the appearance of the fluid by changing the still, 2) the user can control the visual behavior of the fluid by selecting appropriate fluid animation videos as examples, and 3) the user can also sketch fluid flows on the still to control flow directions of the fluid. Given all the user inputs, the system semi-automatically synthesizes each video frame on the still. The system decomposes an example video into low frequency and high frequency components: motion information and dynamic textures. Motion information is used to synthesize motion vector field, low frequency information of the target fluid. Dynamic textures are used for synthesizing high-frequency behaviors of the target fluid. The motion information can also be controlled by the user-specified flow directions. We demonstrate that our system is useful to design photorealistic and non-photorealistic animations of various types of fluids like river rapids, waterfall, firework, flame, explosion, smoke, etc.

In closing, we discuss our proposed solutions, present open questions related to this dissertation and user interface design in general, outline possible improvements, and propose areas for future research.

本論文は、「3D Graphics User Interface for Natural Phenomena(自然現象デザインのための3次元グラフィクスユーザインタフェースの研究)」と題し、7章からなり英文で書かれている。現在、CMや映画産業などで自然現象をCGで表現する需要が高まっている。これらのCGを簡便に作成できるユーザインターフェースの開発は重要な課題である。本論文は、グラフィクスユーザーインターフェースを設計する際の、3つの指針を提示し、これの正当性を実証するために4つほどのシステムを設計し、ユーザースタディ等を行うことでこれらのシステムを評価し、3つの指針の正当性を示したものである。

第一章は、「Introduction」と題し、グラフクスユーザーインターフェース設計上の3つの指針や論文アウトラインならび論文の寄与を述べている。ここで、3つの指針とは、「グラフィクスユーザーインターフェースは、appearance-baseであるべきである」、「グラフィクスユーザーインターフェース設計に関しては、階層構造をとるべきである」、「グラフィクスユーザーインターフェースは、逐次的に設計できるべきである」といったものである。

第二章は、「 Background of Computer Graphics Design」と題し、研究の背景や、形状表現、光源環境デザイン、材質デザイン、動きデザインといった関連研究に関してサーベイし、研究の必要性を示している。

第三章は、 「Interactive Design of Botanical Trees using Freehand Sketches and Example-based Editing」 と題し、樹木などの複雑な対象を設計する際に、階層的入力方法を用いて、大まかな幹を設計する部分と細かな葉を設計する入力を異なった方式で入力できるようなユーザインターフェースとすることで、効率的なシステムができることを示したものある。先に3つの指針にもとづいて、このシステムが設計されているが、特に、階層構造に分けたことが効果的となっている。この効果を評価するため、ユーザスタディーを行っている。

第四章は、「Illumination Brush: Interactive Design of All-Frequency Lighting 」と題し、任意の光源環境を設計するために、物体の表面に映りこむハイライトを直接操作することでそれが行えるインターフェースを設計している。ここでも、3つの指針に基づいているが、特に、appearance-basedで設計されているため、非常に効果的なシステムとなっている。

第五章は、「Single-View Relighting with Normal Map Painting 」と題し、与えられた写真に対し、ユーザーがラフな法線方向を与えることで、写真内の陰影を変化させ、新しい光源下での写真を生成できるシステムを設計している。ここでは、特に、逐次構造が効果的にいかされていると思われる。

第六章は、「Animating Fluid Pictures using Example Video」 と題し、与えられた1枚の写真とそれとは異なるビデオシーン内の動きから、先の1枚の写真に基づいた動画が生成できるシステムを設計している。ここでは、appearance-based, 階層、逐次の全ての指針がうまく調和し、効果的なシステムが示されている。

第七章は、Conclusionである。

以上これを要するに、グラフィクスユーザインターフェースを設計する上での、3つの指針を提示し、これに基づき、樹木のような繰り返しのある対象を効率的に設計するシステム、物体表面上のハイライトを操作することで光源環境が設計できるシステム、物体の上に法線方向を粗く塗りこむだけで任意の光源下での新しい写真が生成できるシステム、与えられた写真とビデオから新しいビデオシークエンスが設計できるシステムを設計し、ユーザースタディ等を執り行うことでこれらのシステムが効果的であり、提案した3つの指針の有効性を実証したもので、コンピュータ科学、とくにグラフィクス分野の発展に貢献するところが少なくない。

よって本論文は博士(情報理工学)の学位請求論文として合格と認められる。