Recently, many areas of research on humanoid robots have been studied, such as motion control, man-machine interfaces, artificial intelligence (AI), and so on. Among them many research projects have tried to create artist robots, with the common objective of exploring new sensing, artificial intelligence, and manipulation techniques.

This research explores new vision and manipulation techniques through painting tasks. The ultimate goal is to create a robot painter that has capabilities similar to human artists.

Consider the vision part, the key problems of 2D/3D object segmentation, color perception, orientation mapping, geometry edge processing are what our method can directly address.

This research focuses, first, on effective 2D segmentation scheme using local and global classifiers. Our proposed method can effectively deal with a foreground cut, multiple cuts, and cut before matting. Then it is shown how to exploit normal stereo cameras to roughly extract the object automatically, based on 3D background subtraction and other vision techniques, and then use our 2D segmentation to extract the object area correctly.

The robot tries to understand color distribution of the object to select the best set of colors to use. Normally, clustering colors face the problem that it tends to produce colors with low contrast. We solve this problem by incorporating two clustering methods: maximum distance clustering and K-means.

Then, in order to draw brush strokes meaningfully, the robot senses the orientation of the object. To interpolate the orientation for the whole object, the global orientation that exploits radial basis function to generate an orientation similar in style to Van Gogh, is applied.

Furthermore, some human artists usually use edges to enhance his/her paintings. Technically, many researches use gradient information to represent edges of objects. However, this would be affected from the color information on the surface. Hence, we decide to use 3D geometry edges as an input. It will be described how to extract 2D edges from 3D model. Then, the 2D edges are processed into brush strokes.

We then show how to apply these methods to high-level manipulation using a robot platform that consists of two arms and multi-fingered hands. The robot also has a stereo vision system. Based on the derived information, the robot then performs a visual feedback drawing. First, it detects a brush and grabs it using cameras and force sensors. Second, a position of the brush tip is calculated using principal component analysis (PCA). Third, it then draws and compares the canvas with the picture produced by the stereo cameras.

Finally, as the trajectories planned by the robot may not be realized on the real robot platform since its physical limitations, this research presents a method to filter and optimize trajectories targeting offline and online applications. All physical attributes, namely angle, collision, velocity, and dynamic force, are considered as a set of constraints to be met and represented as B-spline coefficients, making the limits guaranteed.

Many of the proposed methods will be shown to outperform the current methods in the sense of correctness and minimal user interaction, and it does so in a reasonable computation time.

本論文は,「Robot Painter: High-Level Planning based on Visual Perception (描画ロボット: 視覚に基づく高レベルプランニング)」と題し,英文で書かれている。人間は絵をどのように描くのかといった問題に迫ろうとして、画像の領域分割、色再現、輪郭線抽出等の要素技術を提案するとともに、これらを組み合わせ、「お絵かき」ロボットのシステムを実装しており、全体は7章からなっている。

第1章は、「Introduction」と題し、関連研究、システムの概説、ならびに論文の構成を述べている。

第2章は「Foreground Segmentation」と題し,画像から意味のある領域を切り出すための2次元の前景領域分割の新手法を提案している。何らかの対象を描くためには、対象領域を背景から抽出する必要がある。領域成長法とグラフカット手法を統合した新手法を対案している。領域成長法に関しては、状態量を導入することで、ユーザーの介入の手間を減少させている。また、従来のグラフカット法は、局所的や大域的な類似度を用いたコスト関数を形成し、このコストを最小とすることで前景を抽出する。この際、変数に対しては拘束をつけなかったため、ユーザーの手作業による初期位置設定等が必要であった。拘束の導入により、ユーザーの介入の回数を減少させる。領域成長法である程度大きな領域としたのちに、グラフカットを用いて前景部分を効率よく且つロバストに抽出する手法とした。

第3章は「Color Perception」と題し,絵画を描く際の、色彩の選択法について述べている。先の領域選択から背景部分と前景部分が抽出される。描画の際には、あらかじめ定められた絵の具のセットを使って描画する。この際、前景と背景に最適に絵の具の数を配分するために、各領域の色をクラスター分析し、あらかじめ定められた数の領域とする。この際、Maximum distance clustering (MDC) とK-meanを組み合わせた手法を提案し、この手法を用いて、ロバストで且つ高速なクラスター化を通して、絵の具の決定法を提案している。

第4章は「Brush Stroke Planning Using Global Orientation」と題し,人間の筆使いを真似る手法を提案している。筆使いは、単純には、画面の各場所での明るさ微分方向に筆の方向をむけると考えられる。ただ、単純に、微分方向だけを用いると不安定となることから、a linear radial basis functionを用いてある程度の大域的な情報を得て、安定に筆遣いの方向を定める手法を提案している。

第5章は「Geometric Edge Processing」と題し、エッジを強調する手法を提案している。画家の中には輪郭線を強調することをその絵画の特徴とする画家がいる。3次元モデルから任意の観察方向での輪郭線を安定に抽出する手法を提案した。まず、輪郭線の候補を特定のカメラ方向から抽出する。これらは切れ切れの曲線として表現されるため、グループ化し、取捨選択し、比較的長いスムーズな輪郭線を得ることを提案している。

第6章は「Brush Manipulation and Experimental Result」と題し筆遣いのロボットへの実装を提案している。ロボットの視覚系を利用して、まず筆の軸を決定する。さらに、筆先を認識したあと、多指ハンドを用いて予め定められた連略を用いて筆を把持する。その後、指先の力センサーを用いてキャンバスに筆先が接触するのを検知する。その後、輪郭線等にそって筆をおくるため、持ち方による描画の方向を定める。これによって輪郭線等を描いた後、持ち上げる。この操作を繰り返すことで、描画を完成する。このシステムを実際に多指ハンドを供えた双腕ロボットの上に実装し、システムの有効性を評価した。

第7章は「結論」であり,本論文の成果を要約すると共に今後の課題が示されている。

以上これを要するに,本論文では、人間の描画のプロセスを知るために、前景・背景分離のための領域分割法、各領域に絵の具の色を配分する手法、筆使いを決定する手法、輪郭強調のための手法、などを提案し、これらのアルゴリズムを双腕多指ロボットの上に実装し、システムの有効性を検証したもので、ヒューマノイドロボットの発展に役立つことが期待され、電子情報学上貢献するところが少なくない。よって本論文は博士(情報理工学)の学位請求論文として合格と認められる。