学位論文要旨



No 215329
著者(漢字) 根本,利弘
著者(英字)
著者(カナ) ネモト,トシヒロ
標題(和) テープマイグレーション機能を有する三次記憶装置におけるファイル管理手法とその衛星画像データベースシステムヘの適用に関する研究
標題(洋)
報告番号 215329
報告番号 乙15329
学位授与日 2002.04.12
学位種別 論文博士
学位種類 博士(工学)
学位記番号 第15329号
研究科 工学系研究科
専攻 情報工学専攻
論文審査委員 主査: 東京大学 教授 喜連川,優
 東京大学 教授 相田,仁
 東京大学 教授 田中,英彦
 東京大学 教授 安達,淳
 東京理科大学 教授 高木,幹雄
内容要旨 要旨を表示する

 近年のプロセッサや通信回線の速度の向上にともない,計算機システムにおいて扱われるデータの容量は急速に増大している.二次記憶装置は急激に容量を増し,価格を下げつつあるものの,膨大なデータをアーカイブするには未だ充分ではなく,現状では磁気テープドライブ装置とライブラリ装置を組み合わせた三次記憶装置が用いられている.しかしながら,現在の商用の三次記憶装置では,高速なアクセスを実現するためにデータ転送速度の高いテープドライブ装置,高速動作可能なロボットアームが用いられており,非常に高価なシステムとなっている.さらに,三次記憶システムに記録される大規模データのアクセス特性を考慮していないため,高速なデバイスを用いながらも,その能力を充分に活かしているとは言いがたい.三次記憶システムの応答性能を下げる要因となりうる大規模データのアクセス特性としては,ファイル全体ではなくそのファイルの一部分のみが参照される傾向があるという部分参照性,および,多数のファイルの中で,各ファイルが均等にアクセスされるのではなく,各ファイルのアクセス頻度に偏りが存在するという参照局所性の2点が挙げられる.ファイル内の一部分のみが参照される部分参照性については,今日の三次記憶システムではデータはファイル単位で管理されるため,ファイル内の一部分のみが必要である場合においてもファイル全体をテープからディスクへマイグレートし,不要な部分のマイグレートに長い時間を要してしまう.また,各ファイルのアクセス頻度に偏りが存在するという参照局所性に関しては,アクセス頻度の高いファイルと低いファイルが1本のテープ内に混在し,高アクセス頻度ファイルがテープ内に散在している場合,それらのファイル間のシークを繰り返すこととなり応答性能が悪化する.また,複数のアーカイバが存在する環境下においては,テープ間のアクセス頻度の偏りも問題となる.高アクセス頻度テープが多く存在するアーカイバのドライブのみが使用され,テープドライブ装置やロボットアームなどの資源の利用率が低下する.

 本研究は,これらの三次記憶システムにおける問題点を考慮し,スケーラブルテープアーカイバと名付けたアーカイブシステムを提案するとともに,大規模三次記憶システム上のファイルに対するアクセス特性を考慮した3つの高性能化手法を提案し,その基本性能,および衛星画像デー夕ベースシステムへ適用した際の性能について評価,考察を行うものである.

 大規模アーカイブシステムの価格の問題に対し,エレメントアーカイバと名付けた小規模アーカイバを,エレメントアーカイバ間で物理的にテープの移送を可能とする移送装置により複数台接続することで構成するスケーラブルテープアーカイバを提案し,安価に大規模アーカイブシステムを構築する方法を示した.コモディティ化された小規模アーカイバを用いることで大規模なアーカイブシステムを安価に構築でき,また,エレメントアーカイバ数を変更することにより,任意の規模のアーカイブシステムの構成を可能とする.後述するホットデクラスタリング手法を適用することにより,64台までエレメントアーカイバを接続しても応答性能が損なわれることはない.

 三次記憶システム上の大規模ファイルに対するアクセス特性を考慮した高速化手法としで,第一に,ファイルの一部分のみが参照される部分参照性の問題に対し,ファイルをブロックに分割して管理するとともに,必要な部分のみをマイグレートすることによりマイグレートに要する時間を短縮する部分マイグレーション機能を提案した.部分マイグレーション機能を有するファイルシステムの構築法を示すとともに,部分マイグレーション機能に加えてプリフェッチ機能も有する試作システムを構築した.I/O処理に対して計算処理の負荷が高い放射量・幾何補正処理,計算処理に対してI/O処理の負荷が高い植生指数生成という2つの実際の衛星画像処理において用いられる実アプリケーションを試作システム上において実行し,放射量補正においてはディスク上にデータが存在する場合とほぼ同じ処理時間で,植生指数生成においては必要なサイズのデータのテープからの読み込み時間と同等の時間で処理が完了し,従来のファイルシステムに比べて大幅に処理時間を短縮することが可能であることを明らかにした.

 第二に,スケーラブルテープアーカイバにおけるテープ間のアクセス頻度の偏りによる参照局所性の問題に対し,ホットデクラスタリングと名付けた,熱と温度の概念を利用した負荷分散手法を提案した.ホットデクラスタリングは,スケーラブルテープアーカイバにおけるアクセス頻度の抽象である熱の概念を用いた負荷分散手法である,使用可能なドライブ装置を持たないエレメントアーカイバ内のファイルに対して新たなリクエストが生じた際に,そのファイルが存在するメディアを他のエレメントアーカイバ内の空きドライブ装置まで移動させてサービスを行うフォアグランドマイグレーション,および各エレメントアーカイバの過去一定期間のアクセス数(熱)を均衡化することで負荷の分散を図るとともに,フォアグランドマイグレーションの実行を円滑化するために各エレメントアーカイバ間の空きスロット数を平衡化するバックグランドマイグレーションの2つのマイグレーションによってホットデクラスタリングは構成される.フォアグランドマイグレーションは応答性能を向上させるのに対し,バックグランドマイグレーションはスケーラブルテープアーカイバの負荷均衡状態への収束時間を短縮する.また,ホットデクラスタリングはテープドライブの故障に対する信頼性も向上させる.故障により使用可能なテープドライブを有しないエレメントアーカイバが存在する場合においても,スケーラブルテープアーカイバはリクエストに応えることが可能である.また,ホットデクラスタリングは,従来よりテープシステムの高速化手法として用いられているファイルストライピング手法とは独立に適用可能であり,スケーラブルテープアーカイバにおいてファイルストライピングを用いた場合においても,ホットデクラスタリングは応答時間を短縮する.

 第三に,同一テープ上のファイル間のアクセス頻度の偏り,およびテープ間のアクセス頻度の偏りによる問題に対し,ホットレプリケーションと名付けた手法を提案した.ホットレプリケーションは,テープを巻き戻すことなくロード/イジェクトが可能なテープドライブ装置を使用するという条件の下,高アクセス頻度データ(ホットデータ)の複製を予め確保しておいた空き領域に作成する手法である.ホットデータの複製をクラスタリングすることにより,ホットデータが連続してアクセスされる場合のシーク長を短縮し,応答時間を短縮する.また,アクセス要求されたデータが複製を持ず,そのファイルが記録されているテープが他のリクエストにより使用されている場合にはそのリクエストを直ちにサービスすることはできないが,異なるテープ上に複製を作成することによりオリジナルデータにアクセスできない場合においても複製をアクセスすることを可能とし,応答時間を短縮する.

 東京大学生産技術研究所においてインターネットを通じて公開している衛星データのブラウジング用縮小画像に対するアクセス履歴を用いてシミュレーションを行い,ホットデクラスタリング,ホットレプリケーションの有効性を示した.この衛星画像に対するアクセスは,多数の利用者からの最新画像に対するアクセス,および一人の利用者からの過去一定期間内の画像への一括したアクセスが多いという特徴を有する.これらの特徴は一般的な衛星画像データベースのアクセスと共通すると考えられる.シミュレーションの結果によると,ホットデクラスタリングは充分な量を持つディスクによるキャッシュ以上に応答時間を短縮可能であることを示した.さらに,ディスクによるキャッシュと相補的に働くため,両者を併用することにより一層高速化が図れる.また,ホットレプリケーションは,充分な容量を持つキャッシュが存在する場合,存在しない場合のいずれにおいても最大で30〜40%程度応答時間を短縮するとともに,ホットデクラスタリングと併用することによりさらに応答性能を向上させる.特に,ホットデクラスタリング,ホットレプリケーションは,キャッシュの効果が小さい一人の利用者からの過去一定期間内の画像への一括したアクセスに対して有効である.このようなアクセスは,リクエストされたデータは直前にアクセスされていないためキャッシュは有効ではなく,また,少数のテープに多数のリクエストが集中し,応答時間の劣化の原因となるが,ホットデクラスタリングはリクエストされたテープを移動してスケーラブルテープアーカイバに分散させることにより,また,ホットデクラスタリングは異なるテープ上の複製にアクセスすることにより応答時間を短縮する.

審査要旨 要旨を表示する

 本論文は「テープマイグレーション機能を有する三次記憶装置におけるファイル管理手法とその衛星画像データベースシステムヘの適用に関する研究」と題し,容易な規模拡張を可能とする,スケーラブルテープアーカイバと名付けた大規模三次記憶装置の構築法を明らかにすると共に,アクセス特性を考慮した三次記憶ファイルシステムの高性能化手法を提案し,シミュレーションによりその有効性を論じており,7章から構成される.

 第1章は序論であり,本研究の背景および目的について概観し,本論文の構成を述べている.

 第2章は「関連研究」と題し,テープドライブ装置およびテープドライブ装置を有する三次記憶装置と三次記憶ファイルシステムに関し,現時点までに提案されている高性能化手法の特長をまとめるとともに,その問題点を明らかにしている.

 第3章は「部分マイグレーションによる三次記憶システムの高速化」と題し,巨大なファイルでは全体ではなくその一部分のみが参照される傾向があることを指摘し,この部分参照性を利用した部分マイグレーション手法を提案している.即ち,ファイルをブロックに分割して管理し,必要な部分のみをテープからディスクヘ移送することにより,アクセス時間の短縮化とディスクキャッシュ利用の効率化を図れることを示している.部分マイグレーション機能を有するファイルシステムの構築法を示すとともに,提案手法を実装し,更に,実際の衛星画像処理において用いられる2種類のアプリケーションを用いて評価することにより,従来のファイルシステムに比べて処理時間を大幅に短縮することが可能であることを明らかにしている.

 第4章「ホットデクラスタリング:テープマイグレーションを用いた負荷分散による三次記憶システムの高速化」では,エレメントアーカイバと名付けた小規模テープアーカイバと,それらの間で物理的にテープの移送を可能とする移送装置からなるスケーラブルテープアーカイバを提案している.当該システムにより,コモディティアーカイバを多数台接続し,任意規模のアーカイブシステムを容易に構築することができることを示している.更に,エレメントアーカイバ間のアクセス頻度の偏りによってシステム全体の性能が大きく低下してしまう点に着目し,ホットデクラスタリングと名付けた負荷分散手法を提案している.当該手法はスケーラブルアーカイバの移送装置を用い,エレメントアーカイバ間でテープをやりとりすることにより,アクセス頻度の均衡化を図るものであり,シミュレーションにより,大幅に応答性能が向上することを明らかにしている.加えて,当該手法は,ドライブ故障時においてシステムを再構成する際にも極めて有効であることを示している.

 第5章は「ホットレプリケーション:高アクセス頻度データの複製クラスタリングによる三次記憶システムの高速化」と題し,同一テープ内のファイル間アクセス頻度の偏りに着目し,アクセス頻度の高いデータの複製をテープ上にクラスタ化して生成することにより,シーク時間の短縮化が図れることを示している.当該手法をホットレプリケーションと名付け,シミュレーションにより詳細な性能評価を行い,提案手法の有効性を明らかにしている.

 第6章「衛星画像データベースシステムヘのアクセス履歴を用いた評価」では,本学生産技術研究所において公開している衛星画像データベースシステムのアクセスログデータを用いることにより,第4章で提案したホットデクラスタリング手法,第5章で提案したホットレプリケーション手法の有効性をシミュレーションにより明らかにしている.両手法は,ディスクキャッシュを用いた従来手法に比べて大幅に応答性能を改善することが可能であることを示すとともに,キャッシュと併用することにより,応答時間の一層の短縮が可能であることを明らかにしている.

 第7章「結論」は本論文の成果と今後の課題について総括している.

 以上これを要するに,本論文は,スケーラブルテープアーカイバと名付けた規模拡張が容易な三次記憶システム,ならびに,部分マイグレーション,ホットデクラスタリング,ホットレプリケーションなどの三次記憶ファイルシステム高性能化要素技術を提案するとともに,実システムのアクセスログを利用した詳細なシミュレーションにより提案手法の有効性を明らかにしており,情報工学上貢献するところが少なくない.

 よって本論文は博士(工学)の学位請求論文として合格と認められる.

UTokyo Repositoryリンク http://hdl.handle.net/2261/40216