NVIDIA GH200 Superchipはデータセンター用、プロフェッショナル用、またはコンシューマー用カードですか？
回答
NVIDIA GH200 SuperchipはHopperアーキテクチャに基づき、96 GBのHBM3メモリを搭載し、4,000 GB/sの帯域幅を持ちます。2023に発売され、FP16演算性能は989 TFLOPS、FP32演算性能は494.5 TFLOPSで、TDPは700Wです。
機械学習研究者にとって、これらの数値は実用的な制限を示します：VRAMの上限はロード可能な最大の大規模言語モデルの重み（および特定のシーケンス長での最大バッチサイズ）を決め、メモリ帯域幅はアテンションが多い推論の上限を設定します。演算スループットは密な行列乗算、事前トレーニング、大規模バッチ事前トレーニング、拡散モデルの加速に最も重要です。
See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.