NVLinkまたはInfiniBand搭載のクラウドGPUプロバイダー

マルチGPUコンピュートをレンタルするとき、NVLinkとInfiniBandが実際に何をしているのか

NVLinkとInfiniBandは、マシンの異なる側面から同じ根本的な問題を解決します。つまり、アクセラレータが待機するのではなく計算に専念できるよう、GPU間でデータを高速に移動させることです。上のフィルターは、これらのインターコネクトのいずれか、または両方を搭載したクラウドインスタンスに絞り込みます。これらは互換性があるわけではありません。1つはノード内のファブリックで、単一サーバー内のGPUを接続し、もう1つはノード間のファブリックでサーバー同士をクラスタとして結びます。複数GPUにまたがるワークロードでは、インターコネクトがほぼ線形スケーリングを実現するか、GPUを増やしてもほとんど効果がないかの差を生みます。

NVLink：1台のボックス内GPU間の高速レーン

NVLinkはNVIDIAのGPU間直接リンクです。ホストのPCIeバスやCPUを経由せず、NVLinkはGPU同士（プラットフォームによってはNVSwitchクロスバー経由）を接続し、ノード内のすべてのGPUが高帯域幅かつ低遅延で通信できます。NVLink搭載インスタンスをレンタルした際の実際の利点は：

• PCIeのみのノードよりもはるかに高いGPU間帯域幅で、勾配、アクティベーション、モデルのシャードを毎ステップ交換する場合に重要です。
• GPU間でプールされたメモリのように機能し、1つのGPUのVRAMに収まらない大きなモデルもNVLinkドメイン内で分割でき、クロスGPUトラフィックはPCIeを経由せず高速ファブリック上で行われます。
• オールリデュースなどのコレクティブ操作の同期オーバーヘッドが低減され、データ並列トレーニングで支配的な処理が効率化されます。

NVLinkは単一ノード内に存在し、通常はサーバー設計により2、4、8GPUの範囲です。上記リストのプロバイダーが「NVLink付き8GPUノード」と謳う場合、その8枚のカードは密接に結合されています。ただし、それだけではそのノードが他ノードとどう接続されているかは示しません。

InfiniBand：多くのサーバーを1つのクラスタにするファブリック

InfiniBandは別々のGPUサーバーを接続するネットワーク技術です。トレーニングジョブが単一ノードを超えると、ボトルネックはボックス内からボックス間に移り、通常のイーサネットネットワークではGPUが停滞します。InfiniBandは非常に高いリンクスループット、低かつ予測可能な遅延、そしてRDMA（リモートダイレクトメモリアクセス）を備え、これにより一方のサーバーがもう一方のメモリをCPUを介さずに読み書きできます。GPUDirect RDMAと組み合わせると、ノード間でGPUからGPUへデータがホストメモリコピーをほぼ介さずに移動します。

マルチノードトレーニングでは、これがスケーリング効率を維持する要因です。数十または数百GPUのクラスタが大きなモデルを合理的な時間でトレーニングできる理由は、ノード間ファブリックがアルゴリズムが要求するコレクティブ通信に追従できるからです。一般的なネットワークに落とすと、同じジョブがネットワーク待ちに多くの時間を費やします。

どのワークロードが実際に必要か

NVLinkまたはInfiniBandでフィルタリングするのは、通信が単なる計算以上にクリティカルパスにある場合に意味があります：

• パラメータ、オプティマイザ状態、レイヤーをGPU間でシャードする大規模モデルのトレーニングやファインチューニング（テンソル、パイプライン、完全シャードデータ並列など）—これらは常にクロスGPUトラフィックを発生させ、ノード内はNVLink、ノード間はInfiniBandの恩恵を最も受けます。
• 単一サーバーに収まらないマルチノード分散トレーニング — ここではInfiniBandがスケーリング効率の決定要因です。
• 長年InfiniBandとRDMAに依存してきたHPCや科学シミュレーションでの厳密なプロセス間通信。
• 単一モデルを複数GPUに分割する大規模コンテキストや大規模モデル推論で、NVLinkがクロスGPUのアテンションや重みアクセスの遅延ペナルティを低減します。

単一GPU作業には過剰です。小規模モデルのファインチューニング、1枚のカードに収まるバッチ推論、ほとんどのレンダリング作業、実験は単独GPUで十分です。GPU境界を越えないジョブに高価な密結合ノードやInfiniBandクラスタを使うメリットはありません。

レンタル前に確認すべきこと

2つのインターコネクトはマーケティング文言で混同されがちなので、上記比較と照らして詳細を確認してください：

• スコープ — リストがNVLink（ノード内GPU結合）かInfiniBand（ノード間ネットワーク）を指すか確認。単一ノードインスタンスはNVLinkのみでInfiniBandなしもあります。
• トポロジーと帯域幅 — 何台のGPUがNVLinkドメインを共有するか（完全NVSwitch全通し対部分ブリッジ）、InfiniBandのリンク速度やRDMA/GPUDirectの有無。
• 世代 — 新しいGPU世代ほど高帯域幅NVLinkを搭載。「NVLink」表記だけでは速度はわかりません。
• マルチノード対応 — 実際に複数の相互接続ノードを予約できるか、データセンター内で同じファブリックに配置されるか。
• ソフトウェアサポート — NCCL、MPI、フレームワークがファブリックを認識し利用できるか。設定ミスは静かに遅い経路にフォールバックします。

コストと可用性について、インターコネクト豊富なインスタンスはスペクトラムの上位に位置します。NVLink搭載マルチGPUノードやInfiniBand接続クラスタは高価なハードウェアを使い需要も高いため、オンデマンド容量は限られ、スポットや割り込み可能なオプションは単一GPUより少ないです。特にマルチノードInfiniBand割り当ては制限され、予約や大口販売が多いです。上記表の価格は変動しプロバイダーによって異なるため、最新の参考値として扱ってください。

よくある質問

NVLinkとInfiniBandは両方必要ですか？

規模によります。単一ノードのマルチGPUジョブはNVLinkだけで十分です。トレーニングが複数サーバーにまたがる瞬間、ノード間をつなぐInfiniBandも必要になります。両者は異なるレイヤーで動作し、大規模クラスタは通常、各ボックス内はNVLink、ボックス間はInfiniBandに依存します。

単一GPUワークロードはNVLinkやInfiniBandインスタンスで速くなりますか？

いいえ。両インターコネクトはGPU間またはノード間でデータが移動するときのみ意味があります。1つのGPUに収まるワークロードはどちらのファブリックも使わず、使えない容量に対してプレミアムを払うことになります。1GPUを超えてスケールするときのみフィルターしてください。

大規模トレーニングでなぜインターコネクトがGPU単体スペックより重要なのですか？

分散トレーニングは各ステップの多くを勾配やアクティベーションの交換に費やします。ファブリックが追いつかないと、GPUは同期待ちでアイドルになり、GPUを増やしても効果が薄れます。高速インターコネクトがアクセラレータ追加時のほぼ線形スケーリングを維持します。

すべてのマルチGPUインスタンスにNVLinkはありますか？

いいえ。PCIeのみでカードを接続するマルチGPUノードもあり、GPU間帯域幅ははるかに低いです。複数GPUがあるからといってNVLinkがあるとは限らないため、GPU数でなく上記比較でインターコネクトを明確に確認してください。