Gaano kahusay ang NVIDIA GB200 Superchip sa pag-scale sa maraming GPUs?

Sagot

Headline ng performance ng NVIDIA GB200 Superchip: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 GB/s bandwidth, 384 GB VRAM.

Kung iko-convert sa praktikal na benchmarks: ang model training ng 7B-parameter LLM sa FP16 na may makatwirang batch sizes ay karaniwang nagsasaturate ng compute bago ang bandwidth; ang real-time serving sa parehong modelo ay karaniwang bandwidth-bound at sumusunod sa 16,000 GB/s na numero. Ang diffusion image generation benchmarks ay nasa pagitan ng dalawa — ang compute-heavy steps ay mahusay na nagagamit ang tensor cores, habang ang attention blocks ay patuloy na gumagamit ng bandwidth.

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.