工学・産業の分野における有力な計算力学の手法としてその役割を果たしている有限要素法は,非常に高い信頼性が求められる原子力や航空の分野において非常に重要な設計ツールとなっている.しかしながら,その信頼性に耐えうる計算精度に達するために必要な計算モデルの緻密化による数億から数百億自由度の大規模計算を実現するには計算資源が依然不足しているのが実情である.一方で、光伝送技術よる超高速バックボーンネットワークが地球規模で整備される.そうしたネットワーク技術の発展を背景として,「ネットワーク上の計算,データ,実験装置,センサ,人間などのあらゆる資源を仮想化・統合し,必要に応じて仮想的な計算機や仮想的な組織を動的に形成するための基盤技術」であるグリッドコンピューティングがさまざまな分野で応用されている.グリッドコンピューティングでは,ネットワーク上に広がる計算資源を仮想的に一台の巨大スーパーコンピュータとして利用することができ,膨大な計算需要を背景とする有限要素解析のような設計ツールにおいてグリッドの利用が期待される.しかし,有限要素解析をはじめ,工学分野における数値解析手法の多くは並列化すると頻度の高い同期と通信を行うために,グリッド環境のような通信コストの高い環境での実行は効率の悪化が懸念され,実用化が進んでいない.そこで本研究では,大規模有限要素解析のためのグリッド利用をより効果的にするための利用技術の開発を行う.

1章では本研究の目的と背景を明らかにした.複雑なシステムで構築される現代の社会基盤・産業基盤の安心安全や産業競争力において計算力学が担う役割の大きさや求められる信頼性の高さに触れ,それに応えるために必要とされる計算機環境の規模は現在の世界最速のスーパーコンピュータでも及ばないことを例に挙げ,グリッドのような計算資源の拡張性に優れた計算環境の利用が重要であることを述べた.一方で,産業基盤分野における設計ツールとして実績を持つ有限要素法や有限体積法,差分法などは並列計算において頻度の高い通信を行うことから,大規模化のためのグリッド利用の難しさについて述べた.

2章において,グリッドコンピューティングの概要とグリッドコンピューティングの一般的な応用分野をまとめ,関連研究としてWAN上の複数のクラスタ間で実行される数値計算の研究事例を紹介した.

3章では,本研究の最初の課題である環境構築について述べ,既存のPCクラスタとインターネットという非常に身近な環境から,安全に並列有限要素解析が実行できる環境が構築可能であることを示した.

4章では,前半に本研究の数学的な背景となる有限要素法や連立一次方程式の反復解法についてまとめ,後半に並列化全般についてまとめた.

5章では密結合アプリケーションと疎結合アプリケーションと呼ばれる通信パーン通信パターンの異なる二つの有限要素解析に関連する実アプリケーションを用い,2サイトのクラスタを利用したアプリケーション実行についてその実用性を評価した.

6章以降では,密結合アプリケーションに焦点を絞ってグリッド利用技術について検討した.6章では,メモリ資源の枯渇によってグリッドを使わざるを得ないような状況を想定したグリッド利用について考えた.その例として超大規模な行列を扱う場合のGMRES(k)法の実行環境としてグリッド環境の利用を図った.扱った一億自由度の次元数をもつ例題では,GMRES(k)法はリスタート周期が小さい場合には残差ノルムの減少が停滞してしまっていたが,リスタート周期を増加させることで収束が得られるようなった.これは利用したプロセス数が128と大きかったからこそ実行できたことであり,このような場合にはグリッドの利用が非常に効果的であることを示した.

7章,8章では,実行性能や効率に踏み込んで,いわゆる一般的な並列有限要素解析すなわち,対称正定値行列を係数行列にもち,CG法のように通信頻度は高いがGMRES(k)法のようにメモリも必要としない有限要素解析においては典型的な反復解法に基づく場合のグリッド利用について掘り下げて議論した.大規模問題を扱う分散環境では多くのプロセッサを使うことが想定され,それらのプロセッサが異なるサイトに分散するため,プロセス数の増加に伴う通信コスト増加は単一の環境より顕著に現れてくる.分散メッシュから,通信性能を調べる簡単な実験をもとに計算および通信コストを見積もる手順を確立し,予測に用いたのと同様の5つの例題を用いて実際にサイト間で性能評価実験を行った.サイト間とサイト内では通信時間として最大でも約一桁の違いが生じるものの,不用意にプロセス数を大きくしてしまったような場合をのぞいては,通信時間の計算時間に対する影響は小さく,性能の低いクラスタから見ればクラスタ単体で実行した場合から実行時間にして約5%から10%の増加で済んでいることがわかった.また予測結果と計測結果を比較し予測可能性を示した.

9章では,階層型通信パターンの提案を行った.適当なプロセス数の下では,サイト間の通信コストは計算時間に対して小さいことを確認したが,形状の違いによって生じる隣接プロセス数の違いにより,プロセス数の増加が進むと通信コストが急激に増加してしまう.利用したCluster-of-Clustersのような環境の階層的なプロセス間の結合を考慮し,サイト間の通信コストを削減する階層型通信パターンを提案し,実装および評価を行った.その結果,隣接プロセス数が多いモデルでは効果的な通信コストの減少が得られた.

今後も急速な成長をつづけるネットワーク技術を背景として,これまで通信コストの高いグリッド環境では非実用的と考えられてきたような並列プログラムでさえその実行を許容できるような水準に達してきていることがいえる.これまで並列有限要素解析といえば,HPCの場面で高性能計算機環境におけるStrong Scalabilityの追求がなされてきたが,グリッド環境の利用においては,より大規模な問題をとくことを優先としたWeak Scalabilityの意味で利用価値を見出して行くことも不可欠である.そういった中で見出されてきた大規模有限要素解析のためのグリッド環境の利用意義は有限要素法の枠組みにとどまることではなく,工学分野における多くの有力な数値計算手法においても当てはまる.より積極的なグリッド環境の活用が,計算力学の発展とコンピューシムレーションによって拓かれる産業分野の発展に貢献することを期待する.

有限要素法は航空宇宙産業、原子力、自動車産業、重工業といった産業競争力の強化が特に求められる基盤分野における有力な設計ツールであり、イノベーションの鍵を握るシミュレーションツールである。そうした基盤分野で求められる安全基準は非常に高く、それに耐えうる信頼性をコンピュータシミュレーションで達成しようとするためには実環境規模かつ精緻化した解析モデルを扱うことが不可欠である。連続体を扱う離散化手法である有限要素法においては、モデルの精緻化やマルチスケール化・マルチフィジクス化に伴って計算コストは指数的に増加するため、より大規模な計算環境が求められる。本研究はそうした膨大な計算需要を抱える大規模有限要素解析において、計算資源の拡張性に優れるグリッドの利用技術について研究するものである。

3、4章においては本研究が想定する有限要素解析のグリッドコンピューティングとして、実用性の高いグリッド環境の一つであるCluster-of-Clusters環境の構築方法や、大規模化・並列化に対応した既存の並列有限要素解析として汎用的なMPIプログラムを異なるサイトのクラスタ間で実行する方法について示した。また、並列有限要素解析の通信パターンを分析し、その特徴的な通信を整理した。

5、6章では大規模有限要素解析のためのグリッド利用として、本研究が行った事例を示しそれらの性能評価を行った。5章ではまず、密結合アプリケーションと疎結合アプリケーションと呼ばれる通信パターンの異なる二つの有限要素解析に関連するアプリケーションを用い、サイトの異なる2台のクラスタ間で実行したときの性能評価を行った。密結合アプリケーションにおいては4章で分析した並列有限要素解析に特徴的な通信だけを単独で実行したとき、サイト間とサイト内で通信時間は約10倍の差が生じていることが観察された。その上で、並列有限要素解析全体の実行時間を見たとき、サイト間の実行であっても通信時間の影響は小さく、性能の低いクラスタから見れば、クラスタ単体で実行した場合とほぼ同等の時間で計算できることがわかった。一方、疎結合アプリケーションについてはすでにグリッド利用の実用例が多く挙げられているように、有限要素解析であってもCluster-of-Clusters環境の利用は効果的であり、ヘテロな計算資源で構成されるグリッド環境では非常に重要な負荷分散に適用できる高い柔軟性を持つことがわかった。

つづいて、6章ではグリッドがもつメモリ資源の拡張性に注目した適用例として、非常に大きなメモリ容量を必要とするGMRES(k)法の実行について検討した。GMRES(k)法は反復あたりの内積計算が頻繁に発生するために通信コストとしては非常に高くグリッドのような通信コストの高い環境での実行効率は低いが、グリッドの利用によって既存の単一環境では解けなかった問題が解けるようになり、グリッド利用によるGMRES(k)法の高性能化が図られることを示した。

7章、8章においては密結合アプリケーションに焦点を絞り、より多くのモデルを用いた性能評価実験を行い、実行性能(ワークレシオ)には予測可能性があることを示した。

その際、ワークレシオを分散メッシュと基礎的な通信実験から予測する手法を確立した。そして、通信コストと計算コストの予測における代表的な値である一プロセスあたりの剛性行列の非ゼロ成分の数と隣接プロセス数に対してワークレシオが特徴的に分布することを示し、予測において計算規模に対して分割数が適切に設定されていれば高いワークレシオが期待できることを示した。予測で用いたおなじ例題、実行環境を用いて実際に数値実験を行ったところ、予測と同様に計算規模に対して分割数が適切に設定されていれば高いワークレシオでの実行が可能であり、また4章で得た結果と同様に適切な分割数の下では計算時間に対する通信時間の影響は小さく、性能の低いクラスタから見ればクラスタ単体による実行時間に対して約5%から10%の増加で済むことが確かめられた。さらに64プロセスや128プロセスといった比較的大きなプロセス数においても実用に耐えるワークレシオが観測され、大規模な密結合アプリケーションのためのグリッド利用の可能性について展望が開かれた。

9章においては、さらなる実用性の向上にむけ、階層型通信パターンの提案を行った。それにより、密結合アプリケーションでも特に隣接プロセスを多く持つような解析モデルにおいては、効果的に通信コストの削減が可能であること示した。

以上の結果に加えて今後も急速な成長を続けるネットワーク技術を背景に、これまで通信コストの高いグリッド環境を並列有限要素解析のような密結合アプリケーションの実行に利用することは非現実的と考えられてきたが、そうした通信頻度の高い並列計算においてもその実用化が十分現実的なものとみなされる水準にまで達している。単体の計算環境を上回るような規模の問題の解決を図りたいとき、グリッドの利用は有効な解決手段である。そして、本研究で議論された密結合アプリケーションに関する知見は、並列有限要素解析に限らず、差分法や有限体積法など産業基盤分野における多くの有力な数値解析手法にも適用できるものである。

本論文によって産業競争力や国の安全安心の鍵を握るコンピュータシミュレーションが抱える膨大な計算需要を解決する方法としてグリッド利用の有用性が示された。産業基盤や安心安全に密接に結びつくシステム量子工学の発展に貢献するものである。

よって本論文は博士(工学)の学位請求論文として合格と認められる。