NVIDIA B300 è abbastanza buona per l'inferenza in produzione?

Risposta

NVIDIA B300 spinge 2,250 TFLOPS FP16, 75 TFLOPS FP32, alimentandoli con 288 GB di VRAM a 8,000 GB/s.

Benchmark: l'addestramento LLM con precisione mista vede un utilizzo quasi al picco dei FLOPS con dimensioni di batch che si adattano alla VRAM; l'inferenza LLM è tipicamente entro il 5-15% del limite teorico legato alla larghezza di banda nella decodifica autoregressiva; i modelli di diffusione mostrano il salto più grande rispetto agli acceleratori più vecchi, dove i kernel di attenzione più veloci si sommano ai guadagni di calcolo puro.

See the NVIDIA B300 page for the full spec sheet and current provider list.