Ist NVIDIA GH200 Superchip eine Rechenzentrum-, professionelle oder Consumer-Karte?

Antwort

NVIDIA GH200 Superchip basiert auf der Hopper Architektur und wird mit 96 GB HBM3 Speicher bei 4,000 GB/s Bandbreite ausgeliefert. Veröffentlicht im 2023, liefert die Karte 989 FP16 TFLOPS und 494.5 FP32 TFLOPS bei einem TDP von 700W.

Für ML-Forscher bedeuten diese Zahlen mehrere praktische Grenzen: Die VRAM-Obergrenze bestimmt die größten großen Sprachmodellgewichte, die geladen werden können (und die maximale Batch-Größe bei einer gegebenen Sequenzlänge), während die Speicherbandbreite die obere Grenze für aufmerksamkeitsschwere Inferenz setzt. Die Rechenleistung ist am wichtigsten für dichte Matrixmultiplikationen – Vortraining, großes Batch-Vortraining und Diffusion.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.