Pronajmout NVIDIA GH200 Superchip v cloudu

NVIDIA GH200 Superchip je postavena na architektuře Hopper a dodává se s 96 GB HBM3 paměti s propustností 4,000 GB/s. Uvedena na trh v 2023, karta nabízí 989 FP16 TFLOPS a 494.5 FP32 TFLOPS při TDP 700W.

Pro výzkumníky v oblasti strojového učení tyto hodnoty znamenají několik praktických limitů: strop VRAM určuje největší váhy velkých jazykových modelů, které lze načíst (a maximální velikost dávky při dané délce sekvence), zatímco paměťová propustnost stanovuje horní hranici pro inference náročné na pozornost. Výpočetní průchodnost je nejdůležitější pro husté maticové násobení — předtrénink, předtrénink s velkými dávkami a difuzi.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.

Krátká odpověď: NVIDIA GH200 Superchip běží na 989 FP16 TFLOPS s 4,000 GB/s paměťové propustnosti. Delší odpověď závisí na tom, co spouštíte.

Pro hustý FP16 trénink s velkými dávkami saturuje NVIDIA GH200 Superchip tensorová jádra a poskytuje propustnost blízkou maximálním FLOPS. Pro paměťově omezené nasazení na modelech s dlouhým kontextem dominuje propustnost — hodnota 4,000 GB/s je důležitější než hlavní TFLOPS. Pro vědecké výpočty je relevantní číslo FP32 na úrovni 494.5 TFLOPS, což řadí NVIDIA GH200 Superchip do očekávání HPC své Hopper třídy.

Check the NVIDIA GH200 Superchip page for complete specifications and related GPU matchups.

Použití, kde NVIDIA GH200 Superchip podává dobrý výkon: Large-scale AI training, HPC. Karta s 96 GB VRAM, Hopper tensor jádry a segmentovým zařazením data-center je vhodná pro AI týmy, které potřebují cloudový hardware bez prémiové ceny nejnovějších akcelerátorů.

Dobré pravidlo: pokud se váš model vejde do 96 GB VRAM při požadované přesnosti a vaše pracovní zátěž je spíše omezená propustností nebo výpočetním výkonem než pamětí, NVIDIA GH200 Superchip je pravděpodobně ekonomičtější volbou než přechod na vyšší třídu.

Review full specs and related comparisons on the NVIDIA GH200 Superchip page.