NVIDIA NETWORKING MELLANOX
CONNECTX-6
In-Network Computing の採用により、効率とスケーラビリティを向上
複雑なワークロードでは、高解像度シミュレーション、極端なサイズのデータセット、および高度に並列化されたアルゴリズムの超高速処理が必要です。これらのコンピューティング要件が増え続ける中、NVIDIA Quantum InfiniBandは、世界で唯一の完全にオフロード可能なIn-Network Computingの高速化技術であり、ハイパフォーマンスコンピューティング(HPC)、AI、ハイパースケール クラウド インフラストラクチャで比類のない結果を得るために必要なパフォーマンスの飛躍を、より低コストかつ複雑さを抑えながら提供するものです。
NVIDIA® ConnectX®-6 InfiniBand スマート アダプター カードは、NVIDIA Quantum InfiniBand プラットフォームの重要な要素です。ConnectX-6 は、200Gb/秒の InfiniBand および Ethernet(1) 接続の最大 2 つのポートを提供し、極めて低いレイテンシー、高いメッセージレート、スマートオフロード、NVIDIA In-Network Computingアクセラレーションによって性能と拡張性を向上させます。
ハイパフォーマンス・コンピューティング環境
NVIDIA In-Network ComputingとIn-Network Memory機能により、ConnectX-6は、計算をさらにネットワークにオフロードし、CPUサイクルを節約してネットワーク効率を高めます。ConnectX-6は、InfiniBand Trade Association (IBTA) 仕様で定義されたRDMA (Remote Direct Memory Access) 技術を利用し、低レイテンシーと高パフォーマンスを実現します。ConnectX-6は、エンドツーエンドでパケットレベルのフロー制御を実現することで、RDMAネットワークの機能をさらに強化します。
機械学習とビッグデータ環境
データ分析は、多くのエンタープライズ データ センター、クラウド、およびハイパースケール プラットフォームにおいて不可欠な機能になっています。機械学習 (ML) は、ディープ ニューラル ネットワークをトレーニングし、認識と分類の精度を向上させるために、特に高いスループットと低レイテンシーに依存しています。200Gb/秒のスループットを持つ ConnectX-6 は、ML アプリケーションに必要なレベルのパフォーマンスとスケーラビリティを提供する優れたソリューションです。
ブロックレベルの暗号化を含むセキュリティ
ConnectX-6のブロックレベルの暗号化は、ネットワーク セキュリティに重要な革新をもたらします。転送中のデータが保存または取得される際、暗号化と復号化が行われます。ConnectX-6 ハードウェアは、IEEE AES-XTSの暗号化/復号化を CPU からオフロードし、レイテンシ―と CPU 使用率を削減します。また、専用の暗号化キーを使用することで、同じリソースを共有するユーザーの保護も保証されます。ConnectX-6では、ブロックストレージの暗号化をアダプター内で行うため、自己暗号化ディスクが不要になります。これにより、従来暗号化ができなかったバイトアドレス型やNVDIMM型などのストレージデバイスを自由に選択することができます。さらに、ConnectX-6 は、連邦情報処理標準 (FIPS) への準拠を提供致します。
NVMe-oF をストレージ環境に導入する
NVMeストレージデバイスは、ストレージメディアへの非常に高速なアクセスを提供し、勢いを増しています。進化する NVMe over Fabrics (NVMe-oF) プロトコルは、RDMA 接続を利用して NVMe ストレージ デバイスに効率的にリモート アクセスすると同時に、エンド ツー エンドの NVMe モデルを最小のレイテンシーに維持します。 ConnectX-6 は、NVMe-oF ターゲットとイニシエーターのオフロードにより、NVMe-oF をさらに最適化し、CPU 使用率とスケーラビリティを向上させます。
スマートアダプターのポートフォリオ
ConnectX-6は、QSFPコネクター付きのロープロファイル・スタンドアップ PCIeとOpen Compute Project(OCP)仕様の2つのフォームファクターで提供されます。シングルポート、HDR、スタンドアップPCIeアダプターは、ConnectX-6またはConnectX-6 DE(HPC アプリケーション向けに強化されたConnectX-6 Dx)をベースとして利用可能です。
さらに、特定のPCIeスタンドアップカードは、水冷式 Intel Server System D50TNPプラットフォームへの挿入用にコールドプレート付きで提供されます。
NVIDIA Socket Direct
ConnectX-6 は、NVIDIA Socket Direct™ 構成用のオプションも提供しています。これは、各CPUが専用のPCIeインターフェースを通じてネットワークにアクセスできるようにすることで、マルチソケットサーバーの性能を向上させるものです。これにより、データが QPI (UPI) と他の CPU をバイパスできるようになり、レイテンシ、パフォーマンス、および CPU 使用率が向上します。
また、Socket Direct は、GPU がアダプタ カードに最も近い CPU にリンクされるようにすることで、すべての CPU/GPU ペアに対して NVIDIA GPUDirect® RDMA を有効にします。
Socket Direct は、ソケットとアダプタ カード間の直接接続を構成することにより、両方のソケットで Intel® DDIO 最適化を可能にします。
Socket Directテクノロジーは、ConnectX-6を収容するメインカードと、残りのPCIeカードをもたらす補助PCIeカードによって実現されます。ConnectX-6 Socket Directカードは、2つのPCIe x16スロットに装着され、ハーネスを使用して接続されます。2 つの PCIe x16 スロットは、同じ CPU に接続することもできます。この場合、このテクノロジーの主な利点は、PCIe Gen3 のみをサポートするサーバーに 200Gb/s を提供することにあります。
ホスト管理
ホスト管理には、SMBus 上の MCTP 上の NC-SI、PCIe 上の MCTP — Baseboard Management Controller (BMC) インターフェイス、監視および制御用の PLDM DSP0248 およびファームウェア更新用の PLDM DSP0267 が含まれます。
幅広いソフトウェア サポート
すべての ConnectX アダプターは、主要な Linux ディストリビューション、Microsoft ® Windows® Server および VMware vSphere® 用の完全なドライバ スイートによってサポートされています。サポートされる HPC ソフトウェア ライブラリには、HPC-X、OpenMPI、MVAPICH、MPICH、OpenSHMEM、PGAS、およびさまざまな商用パッケージが含まれます。
(1) イーサネットの特徴と機能については、ConnectX-6 イーサネット SmartNIC を参照してください。
用途 |
| | |
ハイパフォーマンス ・コンピューティング(HPC)
| NVIDIA Mellanox Multi-Host | ストレージ |
ConnectX-6は、業界最高レベルのスループットとメッセージレートを提供し、HPC データセンターをエクサスケールレベルのパフォーマンスとスケーラビリティへと導くために最適な製品です。ConnectX-6は、MPI アクセラレーションとオフロード、ネットワークアトミックとPCIeアトミックオペレーションをサポートすることで、HPC インフラ を強化します。 | 機械学習は、ディープニューラルネットワークを訓練し、認識や分類の精度を向上させるために、高スループットと低レイテンシに依存しています。NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)をサポートする200Gb/秒のスループットを提供する最初のアダプターカードとして、ConnectX-6とQuantumスイッチは、機械学習アプリケーションに必要なパフォーマンスとスケーラビリティを提供します。
| NVMeストレージデバイスは、ストレージメディアへの非常に高速なリモートダイレクトメモリアクセス(RDMA)を提供することで、その勢いを増しています。NVMe over Fabrics (NVMe-oF)ターゲットとイニシエータ オフロードにより、ConnectX-6はNVMe-oFをさらに最適化し、CPU利用率とスケーラビリティを向上させます。 |
機能 | |
- HDR / HDR100 / EDR / FDR / QDR / SDR InfiniBand接続性
- 最大200Gb/秒の帯域幅
- 最大215 Mのメッセージ/秒
- 低遅延
- RDMA、送受信セマンティクス
- ハードウェアベースの輻輳制御
- アトミックオペレーション
|
|
- 集団通信オフロード
- NVIDIA Multi-Host®および NVIDIA Socket Direct®構成のサポート
- 組み込みのPCIeスイッチ
- 様々なフォームファクタで利用可能:標準のPCIeカード、NVIDIA Socket Direct、OCP3.0、NVIDIAマルチホスト、集積回路(IC)単体
|
メリット | |
- 業界最高のスループットとメッセージレートを実現
- 演算をオフロードしてCPUサイクルを節約し、ネットワーク効率を向上
- コンピュートおよびストレージ・インフラストラクチャのための最高のパフォーマンスと最もインテリジェントなファブリック
- x86、Power、Arm、GPUベースのコンピュートおよびストレージプラットフォームをサポート
| |
ConnectX-6 VPI | Single/Dual-Port 200Gb/s Adapter Card with Virtual Protocol Interconnect |
INFINIBAND | ・HDR /HDR100 /EDR / FDR / QDR / DDR / SDR
・IBTA仕様1.3 準拠
・RDMA、Send/Receive semantics
・ハードウェアベースの輻輳制御
・アトミック操作
・1,600万I/O チャネル
・256 to 4Kバイト MTU、2Gバイトメッセージ
・8 仮想レーン + VL15 |
ETHERNET | ・200GbE/ 100GbE/ 50GbE/ 40GbE/ 25GbE/ 10GbE/ 1GbE
(詳細はブローシャ参照) |
強化機能 | (詳細はブローシャ参照) |
CPU オフロード | ・RDMA over Converged Ethernet (RoCE)
・TCP/UDP/IP ステートレスオフロード
・LSO、LRO、チェックサムオフロード
・(カプセル化されたパケットを含めた)RSS、TSS、HDS、VLANおよびMPLS tag insertion / stripping、Receive flow steering、Receive flow steering
・カーネル・バイパス・アプリケーションのためのData Plane Development Kit (DPDK)
・ASAP2を活用する、Open VSwitch (OVS) オフロード
・Flexible match-action flow tables
・トンネリング カプセル化 / カプセル化解除
・Intelligent interrupt coalescence
・NATルータのハードウェア・オフロードをサポートするヘッダの書き換え |
ストレージオフロード | ・ブロックーレベル暗号化:XTS-AES 256/512ビットキー
・ターゲット機器のためのNVMe over Fabricsオフロード
・リードソロモン演算をオフロードする、イレイジャーコーディング(Erasure Coding)オフロード
・T10 DIF - 入力および出力トラフィックのワイヤースピードでのシグネチャーハンドオーバー操作
・ストレージプロトコル:
・SRP, iSER, NFS RDMA, SMB Direct, NVMe-oF |
オーバーレイ
ネットワーク | ・オーバーレイネットワークを介したRoCE
・オーバーレイネットワークのトンネリングプロトコルのためのステートレスオフロード
・VXLAN、NVGRE、およびGENEVEオーバーレイネットワークのカプセル化とカプセル化解除のハードウェア・オフロード |
ハードウェアベースの
I/O仮想化 | ・Single Root IOV
・Address translation and protection
・VMware NetQueue support
・SR-IOV:最大512 仮想機能
・SR-IOV:ホスト毎に最大16 の物理機能
・仮想化階層(別名 NPAR)
・物理ポート上の物理機能の仮想化
・すべての物理機能上のSR-IOV
・設定可能でユーザがプログラム可能なOoS
・VMのための保証されたQoS |
HPC ソフトウェア
ライブラリ | ・HPC-X、Open MPI、 MVAPICH、MPICH、Open SHMEM, PGAS 及び様々なコマーシャルパッケージ |
管理とコントロール | ・NC-SI、MCTP over SMBus と MCTP over PCIe - ベースボード管理コントローラインターフェイス
・モニタおよび制御用のPLDM DSP0248
・ファームウェア更新用のPLDM DSP0267
・eSwitchを管理するためのSDN 管理インターフェイス
・デバイス制御と設定のためのI2C インターフェイス
・General Purpose I/O ピン
・FlashへのSPI インターフェイス
・JTAG IEEE 1149.1と IEEE 1149.6 |
リモート起動 | ・InfiniBandを介したリモート起動
・Ethernetを介したリモート起動
・iSCSI を介したリモート起動
・Unified Extensible Firmware Interface (UEFI)
・Pre-execution Environment (PXE) |
* 「ユーザーマニュアル」をクリックすると、NVIDIA Mellanoxの「User Manual」 ページが開きます、(場合によってはそこで必要なバージョンを選択します。選択後、)マニュアル全体のPDFを生成し開くには、同ページ左にある、「Export PDF」を一度クリックし、その下に表示される「Entire Document」をクリックします。「Export PDF」が見当たらない場合、「Page tree」アイコンのの右下1 ㎝程度の位置をドラッグし、Window全体を右に移動することで「Export PDF」が表示されます。 |
ホワイト・ペーパー