Je NVIDIA GH200 Superchip karta pro datová centra, profesionální použití nebo spotřebitelská?

Odpověď

NVIDIA GH200 Superchip je postavena na architektuře Hopper a dodává se s 96 GB HBM3 paměti s propustností 4,000 GB/s. Uvedena na trh v 2023, karta nabízí 989 FP16 TFLOPS a 494.5 FP32 TFLOPS při TDP 700W.

Pro výzkumníky v oblasti strojového učení tyto hodnoty znamenají několik praktických limitů: strop VRAM určuje největší váhy velkých jazykových modelů, které lze načíst (a maximální velikost dávky při dané délce sekvence), zatímco paměťová propustnost stanovuje horní hranici pro inference náročné na pozornost. Výpočetní průchodnost je nejdůležitější pro husté maticové násobení — předtrénink, předtrénink s velkými dávkami a difuzi.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.