Los mejores proveedores de GPU en la nube con NVIDIA GH200

Qué es realmente el NVIDIA GH200 Grace Hopper Superchip

El GH200 no es una tarjeta GPU convencional para insertar. Es un superchip que fusiona una GPU de clase H100 de la generación Hopper de NVIDIA con una CPU Grace basada en Arm Neoverse de 72 núcleos en un solo módulo, unidos por NVLink-C2C — una interconexión coherente chip a chip que conecta la CPU y la GPU con un ancho de banda mucho mayor que una ranura PCIe estándar. Cuando alquilas una instancia GH200 del comparativo anterior, estás alquilando todo ese paquete CPU+GPU, no solo una GPU que se conecta a la CPU anfitriona de otra persona.

Esa arquitectura es el punto clave. Debido a que la CPU Grace y la GPU Hopper comparten un espacio de memoria coherente a través de NVLink-C2C, la GPU puede acceder al gran banco de memoria LPDDR5X de la CPU sin el habitual cuello de botella del PCIe. Para cargas de trabajo donde un modelo o conjunto de datos excede la memoria de alta velocidad propia de la GPU, esto cambia lo que es práctico ejecutar en un solo nodo.

El hardware que importa cuando lo alquilas

• Memoria GPU: el lado de la GPU Hopper lleva HBM3 en el GH200 original y HBM3e en la variante de mayor capacidad. Verás configuraciones anunciadas alrededor de 96 GB de HBM3 y cerca de 141 GB de HBM3e por superchip — verifica la cifra exacta en la lista arriba, porque la capacidad de memoria es el diferenciador más grande entre las SKU del GH200.
• Memoria del sistema: la CPU Grace añade un gran banco de LPDDR5X (comúnmente citado alrededor de 480 GB), accesible de forma coherente para la GPU. Combinado con HBM, un solo GH200 expone un espacio de direcciones unificado muy grande — útil para grandes embeddings, cachés KV y cargas de trabajo de grafos o recomendaciones.
• Ancho de banda de memoria: HBM3/HBM3e entrega múltiples terabytes por segundo a la GPU, mientras que NVLink-C2C proporciona cientos de GB/s de ancho de banda coherente CPU-GPU — aproximadamente un orden de magnitud más allá de un enlace PCIe 5.0 x16.
• Cómputo y precisión: como parte Hopper, la GPU incluye núcleos Tensor de cuarta generación y el Transformer Engine, con soporte de hardware para FP8, BF16, FP16, TF32, INT8 y FP64. FP8 en particular es lo que hace que Hopper sea atractivo tanto para entrenamiento de LLM como para inferencia de alto rendimiento.
• Escalabilidad multi-GPU: los módulos GH200 pueden enlazarse con NVLink y, en diseños de rack estilo NVL32, con la tela NVLink Switch, por lo que múltiples superchips se comportan más como un gran acelerador que como un conjunto suelto de PCIe.
• Clase de potencia y térmica: este es un módulo exclusivo para centros de datos, de alto TDP (comúnmente configurable hasta aproximadamente 1000 W incluyendo la CPU). Se enfría con líquido o con aire intensamente en el host, por eso la disponibilidad está ligada a hosts especializados en lugar de servidores comunes.

Cargas de trabajo para las que el GH200 realmente encaja

El GH200 se gana su lugar donde la memoria coherente CPU-GPU y el ancho de banda HBM hacen un trabajo real:

• Inferencia de modelos grandes y contextos largos: grandes cachés KV y pesos voluminosos se benefician de la combinación de HBM más el desbordamiento en la LPDDR5X de Grace, permitiendo que un solo nodo sirva modelos que de otro modo necesitarían fragmentarse entre varias GPUs discretas.
• Ajuste fino y entrenamiento de LLM: FP8 y BF16 a través del Transformer Engine lo hacen fuerte para entrenamiento de transformadores y ajuste fino eficiente en parámetros, especialmente cuando los conjuntos de datos o estados del optimizador requieren mucha memoria.
• Recomendación, GNN y cargas de trabajo vectoriales: cualquier cosa que transmita grandes tablas o grafos entre la memoria CPU y GPU se beneficia directamente de la coherencia NVLink-C2C.
• HPC y computación científica: FP64 nativo más acoplamiento estrecho CPU-GPU se adapta a simulaciones y pipelines de análisis de datos que mezclan trabajo escalar en CPU con kernels GPU.

Es excesivo para experimentación con modelos pequeños, ajuste fino clásico de visión por computadora que cabe cómodamente en 24–48 GB, trabajos por lotes que no están limitados por memoria, y la mayoría de inferencias en tiempo real de modelos pequeños — una tarjeta Ada o Ampere más barata del catálogo general será más rentable allí. El GH200 también es una mala opción para gráficos, juegos o renderizado de estaciones de trabajo: no tiene salidas de pantalla y está construido para cómputo, no para rasterización.

Contexto de alquiler: costo, disponibilidad y qué comparar

El GH200 se ubica cerca del tope del espectro de costos de GPU en la nube, en el mismo nivel premium que las instancias de clase H100, porque pagas por HBM, una CPU Grace incluida y una interconexión de alto ancho de banda. La oferta es realmente escasa en relación con la demanda, por lo que tiende a aparecer en hosts especializados y enfocados en IA más que en cualquier nube de propósito general, y la capacidad bajo demanda puede agotarse. Los precios spot o interrumpibles existen en algunos lugares pero son menos comunes y menos profundos que para aceleradores más antiguos. Para tarifas en vivo específicas de proveedores, confía en la comparación arriba en lugar de cualquier cifra fija, ya que los precios se mueven y varían según la región y el término del compromiso.

Cuando leas la tabla, considera estas dimensiones:

• Capacidad HBM (96 GB HBM3 vs ~141 GB HBM3e) — esto dicta el modelo más grande que puedes mantener residente.
• Disponibilidad bajo demanda vs reservada vs spot, y compromiso mínimo.
• Topología de interconexión para entrenamiento multinodo (tela NVLink vs Ethernet/InfiniBand simple entre nodos).
• Rendimiento de almacenamiento y tarifas de egreso, que a menudo dominan el costo total para entrenamiento con grandes datos.
• Granularidad de facturación (por segundo vs por hora) si tus trabajos son cortos o intermitentes.

Preguntas frecuentes

¿Es el GH200 igual que un H100?

No exactamente. El GH200 contiene una GPU Hopper estrechamente relacionada con la H100, pero se entrega como un superchip combinado con una CPU Grace Arm de 72 núcleos y la interconexión coherente NVLink-C2C. Un H100 independiente es solo la GPU emparejada con cualquier host x86 que provea el proveedor, así que la ventaja del GH200 es el gran banco de memoria coherente CPU-GPU estrechamente acoplado.

¿Cuánta memoria tiene un GH200?

Depende de la variante. El lado GPU lleva aproximadamente 96 GB de HBM3 o cerca de 141 GB de HBM3e, y la CPU Grace añade un gran banco LPDDR5X (comúnmente citado cerca de 480 GB) al que la GPU puede acceder de forma coherente. Confirma la cifra exacta de HBM en la lista arriba, ya que varía según la SKU y es la especificación que limita el tamaño del modelo.

¿Qué precisiones soporta el GH200 para IA?

Al ser parte Hopper, soporta FP8, BF16, FP16, TF32, INT8 y FP64 a través de núcleos Tensor de cuarta generación y el Transformer Engine. FP8 es la característica principal para entrenamiento eficiente de modelos grandes e inferencia de alto rendimiento.

¿Cuándo no vale la pena alquilar un GH200?

Si tu modelo cabe cómodamente en 24–48 GB, tu carga de trabajo no está limitada por el ancho de banda de memoria, o solo necesitas inferencia en tiempo real para modelos pequeños, una instancia Ada o Ampere más barata ofrecerá mejor valor. El GH200 vale la pena específicamente cuando la memoria grande, el ancho de banda HBM o el movimiento coherente de datos CPU-GPU son el cuello de botella.