NVIDIA GH200 Superchip adatközponti, professzionális vagy fogyasztói kártya?

Válasz

NVIDIA GH200 Superchip az Hopper architektúrán alapul, és 96 GB HBM3 memóriával rendelkezik 4,000 GB/s sávszélességgel. 2023 jelent meg, a kártya 989 FP16 TFLOPS és 494.5 FP32 TFLOPS teljesítményt nyújt 700W TDP mellett.

A gépi tanulás kutatói számára ezek a számok több gyakorlati korlátot jelentenek: a VRAM felső határa határozza meg a legnagyobb betölthető nagy nyelvi modell súlyokat (és a maximális kötegméretet adott szekvenciahossznál), míg a memória sávszélesség a figyelem-igényes inferencia felső határát állítja be. A számítási áteresztőképesség leginkább a sűrű mátrixszorzásoknál számít — előtréning, nagy kötegű előtréning és diffúzió.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.