Proveedores de GPU en la Nube con NVLink o InfiniBand

Qué hacen realmente NVLink e InfiniBand cuando rentas computación con múltiples GPUs

NVLink e InfiniBand resuelven el mismo problema fundamental desde dos lados diferentes de la máquina: mover datos entre GPUs lo suficientemente rápido para que los aceleradores pasen su tiempo computando en lugar de esperando. El filtro anterior reduce la lista a instancias en la nube que exponen uno o ambos de estos interconectores. No son intercambiables: uno es una red intra-nodo que conecta GPUs dentro de un solo servidor, y el otro es una red inter-nodo que conecta servidores entre sí formando un clúster. Para cualquier carga de trabajo que abarque más de una GPU, el interconector suele ser la diferencia entre una escalabilidad casi lineal y una configuración donde agregar GPUs apenas ayuda.

NVLink: el carril rápido entre GPUs dentro de una misma caja

NVLink es el enlace directo de GPU a GPU de NVIDIA. En lugar de enrutar el tráfico a través del bus PCIe del host y la CPU, NVLink conecta las GPUs entre sí (y en algunas plataformas a través de un conmutador NVSwitch) para que cada GPU en el nodo pueda comunicarse con cualquier otra GPU con alto ancho de banda y baja latencia. La ventaja práctica cuando rentas una instancia equipada con NVLink es:

• Mucho mayor ancho de banda GPU a GPU que los nodos solo con PCIe, lo cual importa siempre que se tengan que intercambiar gradientes, activaciones o fragmentos del modelo en cada paso.
• Memoria agrupada entre GPUs en la práctica — un modelo demasiado grande para la VRAM de una sola GPU puede dividirse a través del dominio NVLink con el tráfico entre GPUs permaneciendo en la red rápida en lugar de arrastrarse por PCIe.
• Menor sobrecarga de sincronización para operaciones colectivas como all-reduce, que dominan el entrenamiento paralelo de datos.

NVLink vive dentro de un solo nodo, por lo que su alcance suele ser de 2, 4 u 8 GPUs dependiendo del diseño del servidor. Si un proveedor en la lista anterior anuncia un nodo de 8 GPUs “con NVLink”, eso significa que esas ocho tarjetas están fuertemente acopladas. No dice nada, por sí solo, sobre cómo ese nodo se conecta con otros nodos.

InfiniBand: la red que convierte muchos servidores en un solo clúster

InfiniBand es una tecnología de red usada para conectar servidores GPU separados. Cuando los trabajos de entrenamiento superan un solo nodo, el cuello de botella se mueve de dentro de la caja a entre cajas, y la red Ethernet común puede detener las GPUs. InfiniBand resuelve esto con un rendimiento muy alto por enlace, latencia baja y predecible, y RDMA (acceso remoto directo a memoria), que permite a un servidor leer o escribir la memoria de otro servidor sin involucrar la CPU en ninguno de los dos lados. Emparejado con GPUDirect RDMA, los datos pueden moverse de GPU a GPU a través de nodos mientras en gran medida se evitan las copias en la memoria del host.

Para el entrenamiento multinodo, esto es lo que mantiene la eficiencia en la escalabilidad. La razón por la que un clúster de, digamos, docenas o cientos de GPUs puede entrenar un modelo grande en un tiempo razonable es que la red inter-nodo sigue el ritmo de la comunicación colectiva que el algoritmo demanda. Si se usa una red común, el mismo trabajo puede pasar una gran parte de su tiempo real esperando en la red.

Qué cargas de trabajo realmente necesitan esto

Filtrar por NVLink o InfiniBand tiene sentido cuando la comunicación, no solo el cómputo bruto, está en el camino crítico:

• Entrenamiento y ajuste fino de modelos grandes que fragmentan parámetros, estado del optimizador o capas entre GPUs (paralelismo tensorial, en pipeline o completamente fragmentado) — estos esquemas generan tráfico constante entre GPUs y se benefician más de NVLink dentro de un nodo e InfiniBand entre nodos.
• Entrenamiento distribuido multinodo donde el trabajo simplemente no cabe en un servidor — aquí InfiniBand es el factor decisivo para la eficiencia en la escalabilidad.
• HPC y simulación científica con comunicación inter-procesos estrecha, que ha dependido de InfiniBand y RDMA durante años.
• Inferencia de contexto grande o modelos grandes que divide un solo modelo entre múltiples GPUs, donde NVLink reduce la penalización por latencia del acceso cruzado a atención y pesos entre GPUs.

Realmente es excesivo para trabajo con una sola GPU. Ajustar un modelo pequeño, ejecutar inferencia por lotes que cabe en una sola tarjeta, la mayoría de trabajos de renderizado y experimentación funcionan bien en una GPU independiente. Pagar el extra por un nodo fuertemente interconectado o un clúster InfiniBand no aporta beneficio si tu trabajo nunca cruza el límite de la GPU.

Qué revisar antes de rentar

Los dos interconectores se confunden frecuentemente en la publicidad, así que verifica los detalles con la comparación anterior:

• Alcance — confirma si el listado se refiere a NVLink (acoplamiento de GPUs dentro del nodo) o InfiniBand (red entre nodos). Una instancia de nodo único puede tener NVLink y no tener InfiniBand en absoluto.
• Topología y ancho — cuántas GPUs comparten el dominio NVLink (NVSwitch completo todos contra todos vs. puentes parciales), y la tasa de enlace InfiniBand y si RDMA/GPUDirect está habilitado.
• Generación — las generaciones más nuevas de GPU tienen NVLink de mayor ancho de banda; una etiqueta “NVLink” sola no indica la velocidad.
• Disponibilidad multinodo — si realmente puedes reservar múltiples nodos interconectados, y si están en la misma red en lugar de dispersos por el centro de datos.
• Soporte de software — que NCCL, MPI y tu framework detecten y usen la red; una mala configuración cae silenciosamente en rutas lentas.

En cuanto a costo y disponibilidad, las instancias con muchos interconectores están hacia el extremo superior del espectro. Los nodos multi-GPU equipados con NVLink y los clústeres conectados con InfiniBand usan hardware premium y tienen demanda constante, por lo que la capacidad bajo demanda es más limitada y las opciones spot o interrumpibles son más escasas que para GPUs individuales comunes. Las asignaciones multinodo de InfiniBand en particular suelen estar restringidas, reservadas o vendidas en bloques grandes. Considera los precios en la tabla anterior como referencia en vivo, ya que las tarifas cambian y varían según el proveedor.

Preguntas frecuentes

¿Necesito ambos NVLink e InfiniBand?

Depende de la escala. Un trabajo multi-GPU en un solo nodo solo necesita NVLink. En el momento en que tu entrenamiento abarca múltiples servidores, también quieres InfiniBand conectando esos nodos — los dos operan en capas diferentes, así que un clúster grande típicamente depende de NVLink dentro de cada caja e InfiniBand entre cajas.

¿Mi carga de trabajo con una sola GPU correrá más rápido en una instancia con NVLink o InfiniBand?

No. Ambos interconectores solo importan cuando los datos se mueven entre GPUs o entre nodos. Una carga de trabajo que cabe en una GPU nunca toca ninguna de las dos redes, por lo que pagarías un extra por capacidad que no puedes usar. Filtra por estas solo cuando escales más allá de una GPU.

¿Por qué el interconector importa más que las especificaciones por GPU para trabajos grandes de entrenamiento?

El entrenamiento distribuido pasa gran parte de cada paso intercambiando gradientes y activaciones. Si la red no puede seguir el ritmo, las GPUs quedan inactivas mientras esperan sincronizarse, y agregar más GPUs produce rendimientos decrecientes. Un interconector rápido es lo que preserva una escalabilidad casi lineal al agregar aceleradores.

¿Está NVLink disponible en todas las instancias multi-GPU?

No. Algunos nodos multi-GPU conectan sus tarjetas solo por PCIe, que tiene un ancho de banda GPU a GPU mucho menor. La presencia de múltiples GPUs no garantiza NVLink, así que confirma el interconector explícitamente en la comparación anterior en lugar de asumirlo por el número de GPUs.