Чи підтримує NVIDIA GB200 Superchip BF16 та FP8?

Відповідь

Повний специфікаційний лист NVIDIA GB200 Superchip читається так: покоління Blackwell, 384 ГБ HBM3e VRAM, пропускна здатність пам’яті 16,000 ГБ/с, 4,500 TFLOPS FP16, 150 TFLOPS FP32, споживання енергії 2,700 Вт, випущена в 2024.

Пам’ять зазвичай є обмеженням для інференсу великих моделей у реальному часі — при 384 ГБ NVIDIA GB200 Superchip комфортно обробляє середні трансформери у FP16 та значно більші моделі у FP8/INT8. Показник 16,000 ГБ/с особливо важливий для автогресивного декодування, обмеженого кешем KV, де пропускна здатність пам’яті обмежує кількість токенів за секунду більше, ніж сирі обчислення.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.