Is NVIDIA GH200 Superchip een datacenter-, professionele of consumentenkaart?

Antwoord

NVIDIA GH200 Superchip is gebouwd op de Hopper architectuur en wordt geleverd met 96 GB HBM3 geheugen met 4,000 GB/s bandbreedte. Uitgebracht in 2023, levert de kaart 989 FP16 TFLOPS en 494.5 FP32 TFLOPS bij een TDP van 700W.

Voor machine learning onderzoekers vertalen die cijfers zich in verschillende praktische grenzen: het VRAM-plafond bepaalt de grootste grote taalmodelgewichten die u kunt laden (en de maximale batchgrootte bij een bepaalde sequentielengte), terwijl de geheugenbandbreedte de bovengrens stelt voor aandacht-intensieve inferentie. De rekenkracht is het belangrijkst voor dichte matrixvermenigvuldigingen — pre-training, grootschalige pre-training en diffusie.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.