本番推論においてNVIDIA GH200 Superchipは十分ですか？

回答

簡単に言うと：NVIDIA GH200 Superchip は 989 FP16 TFLOPS と 4,000 GB/s のメモリ帯域幅で動作します。詳細は実行する内容によります。

大規模バッチの密なFP16トレーニングでは、NVIDIA GH200 Superchip はテンソルコアを飽和させ、ピークFLOPSに近いスループットを提供します。長文コンテキストの基盤モデルでのメモリ帯域幅制限サービングでは、帯域幅が支配的であり、4,000 GB/s の数値がFP16 TFLOPSより重要です。科学計算では 494.5 TFLOPS のFP32が関連数値であり、NVIDIA GH200 Superchip は Hopper クラスのHPC期待値に沿っています。

Check the NVIDIA GH200 Superchip page for complete specifications and related GPU matchups.