Los mejores proveedores de GPU en la nube con NVIDIA H100

Qué es realmente la NVIDIA H100

La H100 es el acelerador para centros de datos de NVIDIA construido sobre la arquitectura Hopper, la generación que se encuentra entre la antigua Ampere A100 y las partes más nuevas Blackwell. Es la GPU a la que la mayoría de los equipos recurren cuando quieren un entrenamiento serio de modelos grandes o inferencia de alto rendimiento sin bajar hasta tarjetas de consumidor. Cuando rentas una instancia H100 del comparativo anterior, estás rentando un acelerador de IA diseñado para ese propósito en lugar de una GPU de juegos reutilizada, y eso define tanto lo que puede hacer como lo que cuesta.

Las características clave de hardware que importan para un arrendatario:

• Memoria: la variante SXM5 viene con 80 GB de HBM3, mientras que la variante PCIe usa HBM2e, también con 80 GB en la parte estándar. Una actualización posterior, la H100 NVL, aumenta la capacidad por tarjeta. La HBM grande y rápida es la razón principal para elegir esta tarjeta sobre opciones basadas en GDDR6.
• Ancho de banda de memoria: la HBM3 en la parte SXM5 ofrece aproximadamente 3 TB/s, muy por encima de lo que alcanzan las tarjetas de consumidor GDDR6/GDDR6X. El ancho de banda, no los FLOPs brutos, es lo que mantiene alimentadas las grandes capas de transformadores.
• Núcleos tensoriales y precisiones: los núcleos tensoriales de cuarta generación soportan FP16, BF16, TF32, INT8 y — nuevo con Hopper — FP8. FP8 es la característica principal para las cargas de trabajo modernas de LLM, duplicando aproximadamente el rendimiento frente a FP16 en kernels compatibles mientras mantiene una precisión aceptable con la escala adecuada.
• Motor Transformer: Hopper combina hardware FP8 con software que gestiona dinámicamente la precisión por capa, por eso el rendimiento de la H100 en entrenamiento e inferencia de transformadores puede superar ampliamente a la generación anterior en el mismo modelo.
• Interconexión: las placas SXM5 usan NVLink y NVSwitch de cuarta generación para enlaces GPU a GPU de alta velocidad dentro de un nodo, mientras que las tarjetas PCIe dependen del bus PCIe (con puentes NVLink opcionales en algunas variantes). Esta distinción es muy importante para trabajos multi-GPU.
• Clase de potencia: la tarjeta SXM5 es una parte de aproximadamente 700 W en un chasis de servidor de 8 GPUs; la tarjeta PCIe es más baja, alrededor de 350 W. No pagas la factura de energía directamente al rentar, pero esto explica por qué estas instancias son densas, calientes y tienen precios acordes.

Para qué cargas de trabajo la H100 es realmente adecuada

La H100 justifica su costo en trabajos limitados por memoria y con alta demanda de rendimiento. Es una buena opción para:

• Entrenamiento y ajuste fino de modelos grandes: 80 GB de HBM te permiten manejar lotes más grandes y fragmentos de parámetros mayores por GPU, y NVLink hace que la escalabilidad multi-GPU y multi-nodo sea eficiente para entrenamiento paralelo de datos y tensores.
• Inferencia de LLM de alto rendimiento: FP8 y el Motor Transformer la hacen excelente para servir modelos de lenguaje grandes con alto volumen de solicitudes, donde importa la cantidad de tokens por segundo por dólar.
• Ajuste fino de modelos medianos a grandes: ajustes finos completos y métodos eficientes en parámetros para modelos de miles de millones de parámetros encajan cómodamente donde las tarjetas con menos VRAM requieren descarga agresiva.
• Cómputo científico y HPC: alto rendimiento en FP64 (a diferencia de las tarjetas de consumidor, que son deliberadamente débiles aquí) la hace viable para simulación y trabajo numérico, no solo para IA.

Es excesiva para experimentación con modelos pequeños, inferencia ligera de modelos compactos, ML clásico, notebooks y la mayoría de trabajos de renderizado o visualización — esos funcionan bien en tarjetas mucho más baratas, y rentar una H100 para ellos suele ser un desperdicio de dinero. Rara vez es insuficiente para trabajo en un solo nodo; lo que más hace que los equipos busquen otra opción es necesitar más memoria agregada que la que un solo nodo con estas tarjetas ofrece, o querer las ganancias de eficiencia de la generación más nueva.

SXM vs PCIe — la variante que rentas importa

Este es el detalle más pasado por alto al rentar. Las placas SXM5 ofrecen mayor ancho de banda, tejido completo NVLink/NVSwitch y relojes sostenidos más altos, por eso el entrenamiento serio multi-GPU casi siempre las usa. Las tarjetas PCIe son más baratas de hospedar y están bien para inferencia de una sola GPU o trabajos más pequeños, pero sus enlaces entre GPUs son más lentos. Si el listado anterior no especifica la variante, considera eso una pregunta que debes resolver antes de comprometerte a un entrenamiento multi-GPU.

Costo de renta, disponibilidad y escasez

En el espectro de costos de GPU en la nube, la H100 está cerca de la cima — por encima de la A100 y muy por encima de tarjetas de consumidor como la RTX 4090 — aunque ha sido desplazada del techo absoluto por hardware más nuevo de clase Blackwell. Debido a que las tarifas exactas cambian constantemente y varían según proveedor, región, plazo de compromiso y variante, debes consultar números en vivo en la comparación anterior en lugar de confiar en una cifra fija. Algunos puntos cualitativos se mantienen constantes:

• Bajo demanda vs spot: la capacidad interrumpible o spot de H100 puede ser sustancialmente más barata que bajo demanda, lo que es adecuado para entrenamiento con puntos de control y para inferencia por lotes tolerante a fallos, pero es riesgoso para trabajos largos sin buenos puntos de control.
• Escasez: el suministro de H100 ha sido históricamente limitado, por lo que la disponibilidad — no solo el precio — varía según región y proveedor. El listado más barato no sirve si la capacidad está agotada en tu región.
• Por GPU vs nodo completo: muchos proveedores rentan H100 individuales, pero el mejor rendimiento multi-GPU viene de nodos completos de 8 GPUs con NVLink; verifica si estás obteniendo acceso fraccional, individual o a nodo completo.
• Granularidad de facturación: la facturación por segundo o minuto favorece ajustes finos cortos e inferencia intermitente; los mínimos por hora favorecen ejecuciones largas. Ajusta el modelo a tu patrón de carga de trabajo.

Preguntas frecuentes

¿Cuánta VRAM tiene una H100 en la nube?

La H100 estándar lleva 80 GB de memoria de alto ancho de banda — HBM3 en la variante SXM5 y HBM2e en la variante PCIe. Una actualización posterior, la H100 NVL, aumenta la capacidad por tarjeta. Siempre confirma la variante exacta y la cantidad de memoria en el listado anterior, ya que eso determina el tamaño máximo de modelo y lote que puedes ejecutar sin descarga.

¿Vale la pena rentar la H100 en lugar de una A100?

Para entrenamiento e inferencia de transformadores, usualmente sí: el soporte FP8 y el Motor Transformer de Hopper pueden entregar un rendimiento materialmente mayor por GPU que la A100 de Ampere, lo que a menudo compensa la tarifa horaria más alta en base a costo por token o por paso. Para trabajos pequeños o con poca memoria que no aprovechan FP8, una A100 más barata o una tarjeta de consumidor puede ser mejor valor.

¿Debo elegir la H100 SXM5 o PCIe?

Elige SXM5 para entrenamiento multi-GPU y trabajos distribuidos estrechamente acoplados, porque su tejido NVLink/NVSwitch y mayor ancho de banda escalan mucho mejor entre GPUs. PCIe está bien y suele ser más barato para inferencia de una sola GPU o cargas de trabajo más pequeñas. Si no se especifica la variante, pregunta antes de reservar una ejecución multi-GPU.

¿Puedo ahorrar dinero con instancias spot o interrumpibles de H100?

Sí, la capacidad interrumpible suele ser mucho más barata que bajo demanda, y funciona bien para entrenamiento con puntos de control frecuentes o para inferencia por lotes que tolera reinicios. Evítala para trabajos largos sin puntos de control donde una expulsión a mitad de ejecución desperdiciaría horas de cómputo pagado. Compara ambos modos de precio en la tabla anterior.