NVLinkまたはInfiniBandを備えたクラウドGPUプロバイダー

マルチGPUコンピュートをレンタルするとき、NVLinkとInfiniBandが実際に何をするのか

NVLinkとInfiniBandは、マシンの異なる側面から同じ根本的な問題を解決します。つまり、アクセラレータが待機することなく計算に専念できるよう、GPU間でデータを高速に移動させることです。上のフィルターは、これらのインターコネクトのいずれか一方または両方を備えたクラウドインスタンスに絞り込んでいます。これらは互換性があるわけではありません。1つはノード内のファブリックで、単一サーバー内のGPUを接続します。もう1つはノード間のファブリックで、サーバー同士をクラスタとして結びつけます。複数GPUにまたがるワークロードでは、このインターコネクトがほぼ線形スケーリングと、GPUを追加してもほとんど効果がない状態の差を生みます。

NVLink：1台のボックス内GPU間の高速レーン

NVLinkはNVIDIAのGPU間直接接続リンクです。ホストのPCIeバスやCPUを経由せず、NVLinkはGPU同士を接続し（プラットフォームによってはNVSwitchクロスバーを介して）、ノード内のすべてのGPUが高帯域幅かつ低遅延で通信できます。NVLink搭載インスタンスをレンタルした際の実際の利点は：

• PCIeのみのノードよりもはるかに高いGPU間帯域幅で、勾配や活性化、モデルの分割部分を毎ステップ交換する場合に重要です。
• GPU間でメモリをプールできるため、1つのGPUのVRAMに収まらない大きなモデルもNVLinkドメイン内で分割でき、クロスGPUトラフィックは高速ファブリック上を移動しPCIe経由の遅い通信を避けられます。
• 全体削減（all-reduce）などの集合操作での同期オーバーヘッドが低減されるため、データ並列トレーニングで効果的です。

NVLinkは単一ノード内に存在し、通常はサーバーデザインにより2、4、8 GPUの範囲です。上記のリストで「NVLink付き8GPUノード」とある場合、その8枚のカードは密に結合されています。ただし、それが他ノードとの接続方法を示すわけではありません。

InfiniBand：多くのサーバーを1つのクラスタにするファブリック

InfiniBandは別々のGPUサーバーを接続するネットワーク技術です。トレーニングジョブが単一ノードを超えると、ボトルネックは内部からノード間へ移り、通常のイーサネットではGPUが待たされます。InfiniBandは非常に高いリンクスループット、低く予測可能な遅延、そしてRDMA（リモートダイレクトメモリアクセス）を提供し、これにより一方のサーバーがもう一方のメモリをCPUを介さずに読み書きできます。GPUDirect RDMAと組み合わせると、ノード間でGPUからGPUへデータがホストメモリコピーをほぼ回避して移動可能です。

マルチノードトレーニングでは、これがスケーリング効率を保つ要因です。数十台、数百台のGPUクラスタが大規模モデルを合理的な時間で学習できるのは、インターノードファブリックがアルゴリズムの集合通信要求に追従できるからです。一般的なネットワークにすると、同じジョブがネットワーク待ちに多くの時間を費やします。

どのワークロードが実際にこれを必要とするか

NVLinkやInfiniBandでフィルタリングするのは、単なる計算だけでなく通信もクリティカルパスにある場合に意味があります：

• パラメータやオプティマイザ状態、レイヤーをGPU間で分割する大規模モデルのトレーニングやファインチューニング（テンソル並列、パイプライン並列、完全分割データ並列など）—これらは常にクロスGPUトラフィックを発生させ、ノード内はNVLink、ノード間はInfiniBandの恩恵を最も受けます。
• 単一サーバーに収まらないマルチノード分散トレーニング—ここでInfiniBandがスケーリング効率の決定要因となります。
• 長年InfiniBandとRDMAに依存してきたHPCや科学シミュレーションの厳密なプロセス間通信。
• 単一モデルを複数GPUに分割する大規模コンテキストや大規模モデルの推論で、NVLinkがクロスGPUのアテンションや重みアクセスの遅延ペナルティを軽減します。

単一GPU作業には過剰です。小規模モデルのファインチューニング、1枚のカードに収まるバッチ推論、ほとんどのレンダリングジョブや実験は単独GPUで十分です。GPU境界を超えないジョブに高価な密結合ノードやInfiniBandクラスタは無意味です。

レンタル前に確認すべきこと

両インターコネクトはマーケティングで混同されがちなので、上記比較と照らして詳細を確認してください：

• 範囲—リストがNVLink（ノード内GPU結合）かInfiniBand（ノード間ネットワーク）を指すか確認。単一ノードインスタンスはNVLinkのみでInfiniBandなしもあります。
• トポロジーと幅—NVLinkドメインに何台のGPUが含まれるか（フルNVSwitch全結合か部分ブリッジか）、InfiniBandのリンク速度とRDMA/GPUDirectの有効化状況。
• 世代—新しいGPU世代ほど高帯域幅NVLinkを搭載。「NVLink」表記だけでは速度はわかりません。
• マルチノード対応—複数ノードを実際に予約できるか、同一ファブリック内に配置されるか（データセンター内に散らばらないか）。
• ソフトウェアサポート—NCCL、MPI、フレームワークがファブリックを認識し使用できるか。設定ミスは静かに遅い経路にフォールバックします。

コストと可用性では、インターコネクト豊富なインスタンスは高価格帯に位置します。NVLink搭載マルチGPUノードやInfiniBand接続クラスタは高級ハードウェアを使い需要が安定しているため、オンデマンド容量は限られ、スポットや割込みオプションは単一GPUより少ないです。特にマルチノードInfiniBand割当は制限や予約、大口販売が多いです。上表の価格はプロバイダーごとに変動し差異があるため、常に最新の参考値として扱ってください。

よくある質問

NVLinkとInfiniBandの両方が必要ですか？

規模によります。単一ノードのマルチGPUジョブはNVLinkだけで十分です。トレーニングが複数サーバーにまたがる瞬間から、ノード間を接続するInfiniBandも必要になります。両者は異なるレイヤーで動作するため、大規模クラスタは通常、各ボックス内でNVLink、ボックス間でInfiniBandを利用します。

単一GPUワークロードはNVLinkやInfiniBandインスタンスで速くなりますか？

いいえ。両インターコネクトはGPU間やノード間でデータが移動するときのみ意味があります。1GPUに収まるワークロードはどちらのファブリックも使わず、使えない容量に対して余計な費用を払うことになります。1GPU以上にスケールするときだけフィルタリングしてください。

大規模トレーニングでGPU単体スペックよりインターコネクトが重要な理由は？

分散トレーニングは各ステップの多くを勾配や活性化の交換に費やします。ファブリックが追いつかないとGPUは同期待ちでアイドルになり、GPUを増やしても効果が薄れます。高速インターコネクトがアクセラレータ追加時のほぼ線形スケーリングを維持します。

すべてのマルチGPUインスタンスにNVLinkはありますか？

いいえ。PCIeのみでカードを接続するマルチGPUノードもあり、GPU間帯域幅ははるかに低いです。複数GPUがあるからといってNVLinkがあるとは限らないため、GPU数で判断せず上記比較でインターコネクトを明示的に確認してください。