Combien d'images par seconde NVIDIA B100 peut-il générer ?

Réponse

Performance benchmarkée sur NVIDIA B100 : 1,750 TFLOPS en FP16, 60 TFLOPS en FP32, 8,000 GB/s de bande passante mémoire, 192 GB de VRAM.

Pour les charges de travail qui intéressent le plus les ingénieurs — entraînement de modèles de la famille transformeur, service d’inférence LLM à faible latence, exécution de pipelines de diffusion et de vision — ces spécifications suffisent à soutenir des tailles de lots qui maintiennent les cœurs tensoriels occupés. Attendez-vous à des gains en temps d’exécution par rapport aux cartes Blackwell de génération précédente allant de 1,5x à 3x selon la nature de la charge.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.