Hoeveel beelden per seconde kan NVIDIA B100 genereren?

Antwoord

Geteste prestaties op NVIDIA B100: 1,750 TFLOPS in FP16, 60 TFLOPS in FP32, 8,000 GB/s geheugenbandbreedte, 192 GB VRAM.

Voor de werklasten die de meeste engineers interesseren — modeltraining van transformer-familie modellen, serving van LLM low-latency inferentie, draaien van diffusie- en visie-pijplijnen — zijn die specificaties genoeg om batchgroottes te ondersteunen die tensor cores bezighouden. Verwacht kloktijdwinsten ten opzichte van vorige generatie Blackwell kaarten van 1,5x tot 3x afhankelijk van de werklastvorm.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.