Câte imagini pe secundă poate genera NVIDIA B100?

Răspuns

Performanța benchmark-ată pe NVIDIA B100: 1,750 TFLOPS în FP16, 60 TFLOPS în FP32, 8,000 GB/s lățime de bandă a memoriei, 192 GB VRAM.

Pentru sarcinile care interesează majoritatea inginerilor — antrenamentul modelelor din familia transformatoarelor, servirea inferenței LLM cu latență scăzută, rularea pipeline-urilor de difuzie și viziune — aceste specificații sunt suficiente pentru a susține dimensiuni de lot care mențin nucleele tensor ocupate. Așteptați-vă la câștiguri în timp de execuție față de plăcile Blackwell din generația anterioară între 1,5x și 3x în funcție de forma sarcinii.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.