¿Es NVIDIA GH200 Superchip una tarjeta para centros de datos, profesional o de consumo?

Respuesta

NVIDIA GH200 Superchip está construido sobre la arquitectura Hopper y viene con 96 GB de memoria HBM3 a 4,000 GB/s de ancho de banda. Lanzada en 2023, la tarjeta ofrece 989 TFLOPS FP16 y 494.5 TFLOPS FP32 con un TDP de 700W.

Para los investigadores en aprendizaje automático, esos números se traducen en varios límites prácticos: el techo de VRAM dicta los pesos del modelo de lenguaje grande más grandes que puedes cargar (y el tamaño máximo de lote a una longitud de secuencia dada), mientras que el ancho de banda de memoria establece el límite superior para la inferencia con mucha atención. El rendimiento de cómputo importa más para multiplicaciones densas de matrices: preentrenamiento, preentrenamiento con lotes grandes y difusión.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.