¿Soporta NVIDIA GB200 Superchip BF16 y FP8?
Respuesta
La hoja de especificaciones completa de NVIDIA GB200 Superchip dice: generación Blackwell, 384 GB de VRAM HBM3e, 16,000 GB/s de ancho de banda de memoria, 4,500 TFLOPS FP16, 150 TFLOPS FP32, consumo de energía 2,700W, lanzada en 2024.
La memoria suele ser la limitación para el servicio en tiempo real de modelos grandes: con 384 GB, NVIDIA GB200 Superchip maneja cómodamente transformadores de tamaño medio en FP16 y modelos mucho más grandes en FP8/INT8. La cifra de 16,000 GB/s es particularmente importante para la decodificación autoregresiva limitada por caché KV, donde el ancho de banda de memoria limita los tokens por segundo más que el cómputo bruto.
Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.