レンタル NVIDIA GH200 Superchip クラウドで
このGPUモデルの価格データはまだありません。近日中にご確認ください。
NVIDIA GH200 Superchip 技術仕様
最適用途
よくある質問
NVIDIA GH200 Superchipはデータセンター用、プロフェッショナル用、またはコンシューマー用カードですか？
NVIDIA GH200 SuperchipはHopperアーキテクチャに基づき、96 GBのHBM3メモリを搭載し、4,000 GB/sの帯域幅を持ちます。2023に発売され、FP16演算性能は989 TFLOPS、FP32演算性能は494.5 TFLOPSで、TDPは700Wです。
機械学習研究者にとって、これらの数値は実用的な制限を示します：VRAMの上限はロード可能な最大の大規模言語モデルの重み（および特定のシーケンス長での最大バッチサイズ）を決め、メモリ帯域幅はアテンションが多い推論の上限を設定します。演算スループットは密な行列乗算、事前トレーニング、大規模バッチ事前トレーニング、拡散モデルの加速に最も重要です。
See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.
本番推論においてNVIDIA GH200 Superchipは十分ですか？
簡単に言うと：NVIDIA GH200 Superchip は 989 FP16 TFLOPS と 4,000 GB/s のメモリ帯域幅で動作します。詳細は実行する内容によります。
大規模バッチの密なFP16トレーニングでは、NVIDIA GH200 Superchip はテンソルコアを飽和させ、ピークFLOPSに近いスループットを提供します。長文コンテキストの基盤モデルでのメモリ帯域幅制限サービングでは、帯域幅が支配的であり、4,000 GB/s の数値がFP16 TFLOPSより重要です。科学計算では 494.5 TFLOPS のFP32が関連数値であり、NVIDIA GH200 Superchip は Hopper クラスのHPC期待値に沿っています。
Check the NVIDIA GH200 Superchip page for complete specifications and related GPU matchups.
リアルタイムサービングに NVIDIA GH200 Superchip は適していますか？
NVIDIA GH200 Superchipが得意とするユースケース：Large-scale AI training, HPC。このカードの96 GBのVRAM、Hopperテンソルコア、data-centerの位置付けは、最新アクセラレータのプレミアムなしでクラウドグレードのハードウェアを必要とするAIチームに適しています。
目安として、モデルがターゲット精度で96 GBのVRAMに収まり、ワークロードがメモリ制約より帯域幅や計算制約である場合、NVIDIA GH200 Superchipは上位クラスにアップグレードするより経済的な選択肢でしょう。
Review full specs and related comparisons on the NVIDIA GH200 Superchip page.
他の GPU と比較する
NVIDIA GH200 Superchip が他の人気クラウド GPU とスペック、価格、可用性でどう比較されるかをご覧ください。