Jak dobře se NVIDIA GB200 Superchip škáluje přes více GPU?

Odpověď

Hlavní výkonové parametry NVIDIA GB200 Superchip: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 GB/s propustnost, 384 GB VRAM.

Převedeno do praktických benchmarků: trénink modelu 7B parametrů LLM v FP16 s rozumnými velikostmi dávek obvykle saturuje výpočet před propustností; reálné nasazení na stejném modelu je obvykle omezeno propustností a sleduje hodnotu 16,000 GB/s. Benchmarky generování obrazů difuzí jsou mezi těmito dvěma — výpočetně náročné kroky dobře využívají tensorová jádra, zatímco attention bloky stále zatěžují propustnost.

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.