サーヴァンツブログ

製品・サービス
Mellanox

EDRおよび、FDR InfiniBandへのガイダンス

EDRおよび、FDR InfiniBandへのガイダンス

現在活用されている、QDR InfiniBand (IB)から、FDRあるいは、EDR InfiniBandへの移行を考えるときのポイントをまとめました。もちろん、移行においてはまず全体での費用を考慮する必要はありますが、それ以外に重要な点をいくつかピックアップ致しました。以下のチャートをご確認ください。

以下で、簡単に補足説明をさせていただきます。

■  HCA(Host Channel Adapter)カード製品について

メラノックスの現行HCAカードは、世代の順に並べると、ConnectX-3、ConnectX-3 Pro、Connect-IB、ConnecX-4、ConnectX-5となり、ConnectX-4以降がEDR InfiniBandに対応する製品です。搭載ポート数、PCIExpressのレーン数など、カード毎にバリエーションが存在しますが、ここでの記載は最大能力となります。

ConnectXシリーズは、基本的なシリコンの設計としてInfiniBandとEthernet両方のプロトコルに対応するのに対し、Connect-IBは、InfiniBandのみに対応する製品となります。リリース当初Connect-IBは、ConnectX-3 Proシリーズとの性能差によりプレミアムな価格設定となっていましたが、現時点においては、Connect-IBもConnectX-3 Proと同様のお求めやすい価格設定となっています。

注意点として、Connect-IB以前の製品とConnectX-4以降の製品では、ドライバ内部で活用されるコア・モジュールがMLNX4とMLNX5と異なります。また特にWindows環境では、Connect-IBはサポートされず、ConnectX-3 Pro以前とConnectX-4以降で活用するドライバの名称がWinOFとWinOF2と異なりますので対応OSに注意が必要です。

■ スイッチ製品について

メラノックスのFDRエッジスイッチでは、現在、Managed型/Unmanaged型スイッチ両方で、12/18/36のポート数のバリエーションを提供しており、コスト効率よく数ノードの小規模な構成から数百ノードまで様々な構成をとることが可能です。また、FDR InfiniBand世代のSwitchX-2 シリーズは、InfiniBandとEthernet 両方に対応するVPI(Virtual Protocol Interconnect)仕様のASIC(シリコン)であり、Managed型のスイッチにオプションのスイッチライセンスを投入することで、ポート毎にInfiniBandとEthernetを使い分け、IP over IBゲートウェイを実現するなどの多彩な活用方法を提供しています。EDR InfiniBandでは、Managed型/Unmanaged型それぞれに36ポートの製品を提供、InfiniBandとEthernetの機能を分離し、それぞれ専用のASICにすることで、上記のように Switch-IB2 では、90nsと非常に低いレイテンシー性能を実現しています。また、Switch-IB2スイッチでは、スイッチ上でのコレクティブオフロードを実現し、MPIの集団通信を最適化するSHArP(Scalable Hierarchical Aggregation and Reduction Protocol)機能を搭載しています。

Managed型のスイッチでは、内部にCPUボードが搭載されており、FDR世代の前期にリリースされた製品では、CPUとして、Power PCが、また、FDR世代の後期以降の製品では、Dual Coreのx86ベースのCPUが活用されています。このCPUアーキテクチャーの違いにかかわらず、いずれもMellanoxのMLNX-OSが動作しており、データ転送レートと、EDR でのSHArP機能などハードウェアベースの機能サポートの有無などの違いはあれど、スイッチのふるまい自体に大きな差はありません。ただ、CPUパワーの差により、x86ベースのアーキテクチャーでは、新たに仮想マシン環境やGUIのレスポンス改善が提供され、またEDR世代では最大で管理可能なノード数が、2,048ノードに拡大しています。

■ケーブルについて

メラノックスのケーブルは、FDR IB、EDR IBいずれのケーブル製品も、製品にシリアル番号が振られており、また、InfiniBandの仕様で求められるビットエラーレート(BER)、10のマイナス12乗に対し、10のマイナス15乗と1千倍高い品質の内部基準で製品が提供されています。FDR、EDRいずれもカッパーケーブルでは、0.5mから50㎝刻みで、3mまでの製品を提供し、光ケーブルでは、3m~100m長までの製品を提供しています。これに加えて、FDRでは、4m長のカッパーケーブルが提供されており、また、EDRでは、1m長の光ケーブルが追加されています。