Czy NVIDIA GH200 Superchip to karta do centrum danych, profesjonalna czy konsumencka?

Odpowiedź

NVIDIA GH200 Superchip jest zbudowana na architekturze Hopper i wyposażona w 96 GB pamięci HBM3 o przepustowości 4,000 GB/s. Wydana w 2023, karta dostarcza 989 TFLOPS FP16 oraz 494.5 TFLOPS FP32 przy TDP 700W.

Dla badaczy uczenia maszynowego te liczby przekładają się na kilka praktycznych ograniczeń: limit VRAM określa największe wagi dużych modeli językowych, które można załadować (oraz maksymalny rozmiar partii przy danej długości sekwencji), podczas gdy przepustowość pamięci ustala górną granicę dla produkcyjnego wnioskowania opartego na uwadze. Przepustowość obliczeniowa ma największe znaczenie dla gęstych mnożeń macierzy — treningu wstępnego, treningu wstępnego z dużą partią i dyfuzji.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.