Quante immagini al secondo può generare NVIDIA B100?

Risposta

Prestazioni benchmarkate su NVIDIA B100: 1,750 TFLOPS in FP16, 60 TFLOPS in FP32, 8,000 GB/s di larghezza di banda della memoria, 192 GB di VRAM.

Per i carichi di lavoro che interessano la maggior parte degli ingegneri — addestramento di modelli della famiglia transformer, serving LLM a bassa latenza, esecuzione di pipeline di diffusione e visione — queste specifiche sono sufficienti per sostenere dimensioni di batch che mantengono occupati i tensor core. Si aspettino guadagni nei tempi di esecuzione rispetto alle schede Blackwell di generazione precedente che variano da 1,5x a 3x a seconda della forma del carico di lavoro.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.