¿Cuántas imágenes por segundo puede generar NVIDIA B100?

Respuesta

Rendimiento medido en NVIDIA B100: 1,750 TFLOPS en FP16, 60 TFLOPS en FP32, 8,000 GB/s de ancho de banda de memoria, 192 GB de VRAM.

Para las cargas de trabajo que más importan a los ingenieros — entrenamiento de modelos de la familia transformador, servicio de inferencia LLM de baja latencia, ejecución de pipelines de difusión y visión — esas especificaciones son suficientes para sostener tamaños de lote que mantengan ocupados los núcleos tensoriales. Espere ganancias en tiempo de reloj frente a tarjetas Blackwell de generación anterior que van de 1.5x a 3x dependiendo de la forma de la carga de trabajo.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.