1.　新しい光計算機ネットワークの必要性

　インターネットなどの情報通信の革命的な進歩の中で、計算機ネットワークを流れる信号の変調速度もギガヘルツ帯を超えつつあり、従来のネットワークで用いられてきた電気信号配線では、帯域、入出力ピン数、消費電力などが限界に来ている。この電気配線のボトルネックを解決し、大容量・長距離接続を容易に実現するには、光技術のより積極的な活用が強く期待されている。

　光技術は基幹系からイーサネットまで、既に幅広く用いられている。特に基幹伝送系の光技術は、10 Gbit/sを超える帯域と数kmの接続が可能なデータ伝送を既に実現している。しかし、この基幹系光伝送技術を計算機ネットワークにそのまま適用した場合、信頼性確保のために複雑な温度制御回路などが必要となり、小型化と経済性の向上が困難である。そこで、次世代の高速で柔軟な計算機ネットワークには、高速・低遅延なデータ伝送を簡素な回路規模で実現する新たな光ネットワーク技術が必要になる。

2.　高速光ネットワークスイッチ

　次世代(1〜10ギガビットクラス)の計算機光ネットワークの実現には、大容量データを集中処理するネットワークスイッチの実現が、特に大きな課題となる。本研究では、このネットワークスイッチの構成方法として「光・電気混載ネットワークスイッチ」を採用した。本構成は、入出力に光インターコネクションを使用し、スイッチ処理に電気信号処理LSIを用いるハイブリッド実装にてスイッチを実現する。光インターコネクションの使用により、信号の高速・長距離伝送が可能になり、さらに電気信号にて信号処理する事で高機能なスイッチ処理が実現できる。本研究では、この高速光・電気混載スイッチの実現に必要な設計・構築技術を開発し、実機でのテストを通じてその有効性を実証した。

3.　光・電気混載ネットワークスイッチの実現に必要な技術

　3.1　並列光インターコネクション

　高速光ネットワークには、大容量・長距離データ伝送を小型かつ低コストで実現できる光技術が必要である。本研究では、シリアル、並列、およびWDMの各光技術を比較検討し、並列光インターコネクションを採用した。並列インターコネクションは、実現の容易な低速駆動のデバイスを並列駆動する構造ゆえ、数100mまでの短い距離の接続を前提に同じ通信容量(〜10 Gbit/s)で比較すると、シリアルデータ通信よりも高い経済性と信頼性を実現できる。

　3.2　大容量CMOSスイッチLSI

　大容量信号処理を実現するには、光インターコネクションの能力を最大限に生かせる新しい高速スイッチLSIが必要である。光インターコネクションの使用により、スイッチLSIの各入出力バッファを軽い入出力負荷を前提に設計でき(数10mの長距離・大負荷の電気ケーブルを駆動する必要が無いため)、より高速な入出力回路をLSIに搭載できる。その結果、駆動能力ではバイポーラより劣るCMOSを積極的に使用する事が可能になり、CMOS化のメリットである低消費電力、同一チップ上のメモリ搭載、さらに低コストが実現できる。本研究においては、並列光インターコネクションの使用を前提に、光インターコネクションに適した専用のスイッチLSI技術をASICテクノロジーを用いて設計開発した。

　3.3　高速回路

　光・電気混載スイッチにおいては、装置内のLSIと光デバイス問を接続する高速信号回路のタイミング設計と、並列チャネル問のスキュー管理が重要な設計事項になる。

　特にタイミング設計においては、高速動作回路の短いクロック周期の中で十分な位相マージンを確保するための、精密な設計が必要である。本研究においては、出力側データチャネル問のスキュー、出力データ信号のジッタ、入力バッファの要求するセットアップ・ホールドタイム、クロックジッタ、プロセスや電圧のばらつき係数の5項目を積算し、位相マージンを求める計算方法を用いた(図1)。個々のデバイスの実測評価結果に基づいて本5項目を積算することで、高精度なタイミング設計が実現できる。

　そして、タイミング設計の検証のため、実際のビットエラーレート測定の結果を基に、Qファクタを測定する事で、理論上実現可能なビットエラーレートの最良値BERmarginを近似的に導いた(式1)。

　3.4　高速信号配線の高密度実装技術

　本研究がターゲットとする総通信容量数10 Gbit/sのスイッチをワンチップに実装するには、1 Gbit/sクラスの信号線を、差動信号なら200〜400本程度1チップに集中配線する事になる。この際、信号の伝搬損失、クロストーク、同時スイッチングノイズが実現の障害となる。本研究においては、伝搬損失・クロストーク等に対して、実際に使用する基板材料を使用してその特性を測定し、そのデータに基づいて設計ルールを決定する手法を構築した。さらに、同時スイッチングノイズなどのノイズ対策として、電源レイアウトの最適化と、ノイズ源のフィルタ分離、電波吸収材の配置などを検討・実施した。

4.実例としてのシステム

　光RWC-1とRHiNETの両並列計算機システムの開発を通じて、設計・構築技術の有効性を実証した。

　4.1　光RWC-1

　交換機や汎用計算機向けの大規模データ伝送技術である光インターコネクションの新規応用として、RWCつくば研と共同で、光接続並列計算機(光RWC-1)の設計開発を行った。光RWC-1では、超並列計算機RWC-1のデータ転送部の一部を光化する試みを実施した。本装置は8つの並列ノード問を通信容量2.4 Gbit/sの光インターコネクションで接続した構成を有する。光RWC-1は大容量光データ伝送を実機搭載した計算機として世界初の試みとなる。本機は通信制御LSIの制御方式や光接続系の構成を光インターコネクションに最適化する形で設計改良する事で、大容量・長距離なデータリンクを小型・低消費電力に実現できる構造になっている。4ノードを搭載したプロセッサボード(図2)は、日立製の12チャンネル光モジュールを48個用い、スループット9.6 Gbit/sの光通信機能を有する。ベンチマークテストの結果、ファイバ(50 m)で接続した本装置と電気ケーブル(10 m)で接続した同種機RWC-1(Elec. RWC-1)と同等の性能を実現した(図3)。これは、低遅延な光インターコネクションとレイテンシーを隠蔽するアーキテクチャの導入により、処理能力の距離依存性を小さくした結果と言える。

　4.2　RHiNET(RWCP high-performance network)

　PCクラスタの内部ネットワークに光インターコネクション技術を応用する事により、LANの長距離伝送性能とSANの高速・低遅延スイッチ機能を合わせ持つ新たなネットワーク(LASN)が実現できる。この事を実証するため、LASNでノード問を接続した並列分散計算機システムRHiNET-2(図4)をRWCつくば研と共同で開発した。本研究では、RHiNET-2に使用する光インターコネクションを搭載した高速ネットワークスイッチRHiNET-2/SW(図5)における、光インターコネクションと高速スイッチLSIの高速回路やボード実装を含む、ハードウェアの方式・回路および実装設計を行った。

　RHiNET-2/SWは、大容量スイッチLSIと高速光モジュールをワンボードに実装し、各ポートは大容量8 Gbit/sのスループットを有する8×8スイッチシステムである。

　実現したハードウェアの特徴は以下の通りである。

(1)大容量並列光インターコネクション

　RHiNET-2/SWにて使用した日立製・光送受信モジュールは12チャネルのレーザーとホトダイオードを並列駆動する事により、8.8 Gbit/sの大容量光データ接続を実現する(800 Mbit/s×データ11チャネル+クロック1チャネル)。

(2)高速CMOS-スイッチLSI

　RHiNET-2/SW用に開発したスイッチLSIは、8入力8出力のクロスバースイッチ機能を搭載し、各ポートは8 Gbit/sの高速通信容量を実現する(図6)。チップ全体では64 Gbit/sの大容量スループットを実現し、計算機ネットワーク用のCMOSスイッチLSIとしては、世界最高クラスの通信容量をもつ。全ての高速電気インタフェースは高速2.5V-LVDS (low voltage differential signaling)で統一し、高速(800 Mbit/s)差動入出力ピンを、192組(384本)入出力する構成を持つ。0.18μmプロセスのCMOS-ASICを使用し、大容量SRAM (512 kbyte)をオンチップ搭載した。

(3) 800 Mbit/sの高速クロック回路の高密度実装

　マザーボード(図7)には、8×8スイッチLSI(784ピン)1個と800 Mbit/s×12チャネル光送受信モジュール計8対を高密度実装した(高速800 Mbit/s-LVDS信号線の総数は、384本)。高速回路の実現のために、スイッチLSIと光モジュール間を接続する回路に対して、高精度なタイミング設計とスキュー管理を実施した。また高速回路の高密度実装を実現するために、まずテスト基板にて配線のロス・反射・クロストークなどの物理データを実測評価した。そして、その結果に基づいて設計ルールを構築し、その設計ルールに乗っ取ってボードの実装・レイアウト設計を行った。

(4)エラーレート測定

　信頼性評価として、RHiNET-2/SWのスイッチシステム全体を通過後の信号のエラーレートを測定した。測定結果によると、エラーレートカーブ上で十分に開口系を確認でき、10-11以下のビットエラーレートを十分な位相マージン(890 ps)をもって確認した(図8)。そして、ノイズ成分がガウシアン近似できる事を前提にビットエラーレートを直線近似すると、ビットエラーレート10-20の実現に際し790 psの位相マージンを持つことが推定できた。さらに、本実験結果をQファクタに換算して評価する事で、実現可能な最良のビットエラーレートBERmarginを計算した結果、約1.0×10-30の値を得(数10年のエラーなしに相当)、本近似計算では考慮していない経時劣化や装置故障の影響を考慮しても、実用上、十分な動作上の余裕を持つことが判った。

(5)計算機システムとしての試験

　16台のPCと5台のRHiNET-2/SWを接続して16ノードクラスタシステムを構成し、並列計算機システムとしての動作試験を行った。本システムでは、16台のPCと5台のスイッチを用いて、図9に示すようなツリー型のネットワークを構成した。PCノードに搭載したNIC (Network Interface Card)にPCIバスを用いたため、PCノードとSW間は1 Gbit/sで接続し、SW-SW間のみ8 Gbit/sで接続している。計算機システムの実機使用時の機能を検証するため、本システムにて並列計算処理プログラム(レイトレーシング)を実行した。その結果、学会期間中の4日間に渡って安定した動作を確認でき、本スイッチが並列計算機システムにおいて安定して使用可能である事を、実機で確認した。

　以上の2システムを用いた実機実証により、本研究の成果となる高速ネットワークスイッチの設計・構築技術の有効性が実証できた。

　これらの2つのシステムにおいて実証できた光インターコネクションの技術的メリットは、以下の5項目が挙げられる、(1)高速データ入出力、(2)長距離接続、(3)装置の小型化と実装の容易化、(4)実機使用に耐える高信頼性、(5)並列システム内部で使用可能な低遅延データ接続。

5.　高速ネットワークスイッチにおける光インターコネクションの将来

　今後100ギガを超える大容量通信などでは、今以上に並列光インターコネクションが重要な技術となる(OEIC技術やWDMを取入れる事も重要)。この将来の高速光ネットワークを、システム開発していく上でも、本研究の成果であるタイミング設計、スキュー管理、ノイズ対策、テスト手法などのネットワークスイッチの設計・構築そして評価技術は、有効な技術になると確信している。

図1:タイミングマージン(Margin)の積算方法

図2:光RWC-1のマザーボード

図3:ベンチマークテストの結果

図4:RHiNET-2システムの概念図

図5:ネットワークスイッチRHiNET-2/SW(総通信容量:64 Gbit/s)の概念図

図6:スイッチLSIのフロアプラン

図7:マザーボードの外観図

図8:RHiNET-2/SWのエラーレート測定結果

図9:16ノードシステム

　本論文は,将来のネットワークコンピューティングに向けた大容量光接続ネットワークスイッチの設計・構築技術について研究するとともに,それを実際に並列計算機システムヘ応用した結果について論じたもので,6章より構成されている.

　第1章は序論であって,研究の背景,動機,目的と,論文の構成が述べられている.

　第2章は「高速光ネットワークスイッチ」と題し,光相互接続用のネットワークスイッチに求められる性能,実現形態,電気接続との比較に関し論じている.次世代(1〜10ギガビットクラス)の計算機光ネットワークの実現には,大容量データを集中処理するネットワークスイッチの実現が,特に大きな課題である.本研究では「光・電気混載ネットワークスイッチ」,即ち入出力に光インターコネクションを使用し,スイッチ処理に電気信号処理LSI(大規模集積回路)を用いる形態を対象としている.光インターコネクションにより信号の高速・長距離伝送が可能になり,さらに電気信号にて信号処理することで高機能なスイッチングが実現できる.

　第3章は「高速スイッチの設計」と題し,上記の光・電気混載ネットワークスイッチを構成する光インターコネクションモジュールとLSIの設計,およびボード実装技術について論じている.ここでは,シリアル,並列,および波長分割多重(WDM)の各光技術を比較検討し,並列光インターコネクションを選択している.並列構成は,低速デバイスを並列駆動する構造ゆえ,数100mまでの短い距離の接続を前提に同じ通信容量(〜10Gbit/s)で比較すると,シリアル構成よりも高い経済性と信頼性を実現できる.次に,光接続の能力を最大限に生かせる新しい高速スイッチLSIについて述べている.光接続によりスイッチLSIの各入出力バッファ負荷が軽減するため,駆動能力ではバイポーラより劣るCMOSを積極的に使用する事が可能になり,CMOSのメリットである低消費電力,同一チップ上のメモリ搭載,低コストが期待される.本研究においては,専用のスイッチLSIをASIC (application specific integrated circuit)技術を用いて設計開発した.

　光・電気混載スイッチにおいては,装置内のLSIと光デバイス間を接続する高速信号回路のタイミング設計と,並列チャネル間のスキュー管理が重要な設計事項になる.特にタイミング設計においては,高速動作回路の短いクロック周期の中で十分な位相マージンを確保するための精密設計が必要である.本研究においては,出力側データチャネル間のスキュー,出力データ信号のジッタ,入力バッファの要求するセットアップ・ホールドタイム,クロックジッタ,プロセス・電圧等のばらつき係数の5項目を積算し,位相マージンを求める計算方法を用いた.個々のデバイスの実測評価結果に基づいて上記5項目を積算することで,高精度なタイミング設計の可能なことが示されている.

　さらに,高速信号配線の高密度実装技術に関し論じた.対象とするスイッチでは,1 Gbit/sクラスの信号線が,差動信号なら200〜400本程度も1チップに集中する事になる.その際問題となる伝搬損失・クロストークに対して,実際に使用する基板材料の特性を測定し,設計ルールを決定する手法を確立した。さらに,同時スイッチングノイズなどの対策として,電源レイアウトの最適化と,ノイズ源のフィルタ分離,電波吸収材の配置などを検討・実施している.

　第4章は「実例としてのシステム光RWC-1」と題し,上記のネットワークスイッチを実際の並列計算機システムヘ応用して有効性を実証している.まず次世代情報処理機構(RWC)つくば研と共同で,光接続並列計算機「光RWC-1」に応用した.本装置は8つの並列ノード間を通信容量2.4Gbit/sの光インターコネクションで接続した構成を有する.光RWC-1は,大容量光データ伝送を実機搭載した計算機として世界初の試みである.ベンチマークテストの結果,ファイバ(50m)で接続した本装置と電気ケーブル(10m)で接続した同機種RWC-1とが,同等の性能を有することが明らかになった.これは,低遅延な光インターコネクションとレイテンシーを隠蔽するアーキテクチャの導入により,処理能力の距離依存性を小さくできた結果と言える.

　第5章は「実例としてのシステムRHiNET」と題し,PCクラスタの内部ネットワークに光インターコネクション技術を適用する並列分散計算機システムRHiNET-2への応用に関し論じている.RHiNET-2スイッチは,大容量スイッチLSIと高速光モジュールをワンボードに実装した8×8スイッチシステムで,各ポートは大容量8Gbit/sのスループットを有する.大容量並列光インターコネクション部は12チャネルのレーザとフォトダイオードを並列駆動する事により,8.8Gbit/sの大容量光データ接続を実現している.高速CMOSスイッチLSI部は,8入力8出力のクロスバースイッチ機能を搭載し,各ポートは8Gbit/sの高速通信容量を実現している.チップ全体では64Gbit/sの大容量スループットを有し,計算機ネットワーク用のCMOSスイッチLSIとして世界最高クラスである.スイッチシステム通過前後のエラーレート測定では,10-11以下のビットエラーレートが十分な位相マージン(890 ps)をもって得られている.直線近似すると,エラーレート10-20では790psの位相マージンを持つことが推定される.Qファクタに換算した評価では,約1.0×10-30の値が得られ(数10年間のエラーフリーに相当),ここでの近似計算では考慮していない経時劣化や装置故障の影響を考えても,実用上十分な動作余裕を持つことが明らかになっている.

　最後に16台のPCと5台のRHiNET-2スイッチを接続して16ノードクラスタシステムを構成し,並列計算機システムとしての動作試験を行っている.並列計算処理プログラム(レイトレーシング)を実行したところ,4日間に渡って安定した動作を確認でき,当該スイッチの有効性が実機で証明された.

　第6章は結論であって,本研究で得られた成果を総括するとともに,高速ネットワークスイッチにおける光インターコネクションの将来を論じている.

　以上のように本論文は,次世代分散コンピューティングの基盤である光相互接続・高速ネットワークスイッチングに関し,光モジュール構成技術,高速LSI設計技術,高速ボード実装技術を研究し,得られた高速光ネットワークスイッチを実際の並列計算機システムRWC-1およびRHiNETに応用してその有効性を評価実証したもので,情報工学および電子工学分野へ貢献するところ多大である.

　よって本論文は博士(工学)の学位請求論文として合格と認められる.