Proveedores de GPU en la nube con NVLink o InfiniBand

Qué hacen realmente NVLink e InfiniBand cuando alquilas computación con múltiples GPU

NVLink e InfiniBand resuelven el mismo problema fundamental desde dos lados diferentes de la máquina: mover datos entre GPUs lo suficientemente rápido para que los aceleradores pasen su tiempo computando en lugar de esperando. El filtro anterior reduce la lista a instancias en la nube que exponen uno o ambos de estos interconectores. No son intercambiables: uno es una red intra-nodo que conecta GPUs dentro de un solo servidor, y el otro es una red inter-nodo que conecta servidores entre sí formando un clúster. Para cualquier carga de trabajo que abarque más de una GPU, el interconector suele ser la diferencia entre una escalabilidad casi lineal y una configuración donde agregar GPUs apenas ayuda.

NVLink: el carril rápido entre GPUs dentro de una sola caja

NVLink es el enlace directo de NVIDIA de GPU a GPU. En lugar de enrutar el tráfico a través del bus PCIe del host y la CPU, NVLink conecta las GPUs entre sí (y en algunas plataformas a través de un conmutador cruzado NVSwitch) para que cada GPU en el nodo pueda comunicarse con cualquier otra GPU a alta velocidad y con baja latencia. El resultado práctico cuando alquilas una instancia equipada con NVLink es:

• Ancho de banda mucho mayor entre GPUs que en nodos solo con PCIe, lo cual importa siempre que se tengan que intercambiar gradientes, activaciones o fragmentos del modelo en cada paso.
• Memoria agrupada entre GPUs en la práctica: un modelo demasiado grande para la VRAM de una sola GPU puede dividirse a través del dominio NVLink, manteniendo el tráfico entre GPUs en la red rápida en lugar de arrastrarse por PCIe.
• Menor sobrecarga de sincronización para operaciones colectivas como all-reduce, que dominan el entrenamiento paralelo de datos.

NVLink vive dentro de un solo nodo, por lo que su alcance suele ser de 2, 4 u 8 GPUs dependiendo del diseño del servidor. Si un proveedor en la lista anterior anuncia un nodo de 8 GPUs “con NVLink”, eso significa que esas ocho tarjetas están estrechamente acopladas. No dice nada, por sí solo, sobre cómo ese nodo se conecta a otros nodos.

InfiniBand: la red que convierte muchos servidores en un solo clúster

InfiniBand es una tecnología de red usada para conectar servidores GPU separados. Cuando los trabajos de entrenamiento superan un solo nodo, el cuello de botella se mueve del interior de la caja a entre cajas, y la red Ethernet común puede detener las GPUs. InfiniBand resuelve esto con un rendimiento muy alto por enlace, baja y predecible latencia, y RDMA (acceso remoto directo a memoria), que permite que un servidor lea o escriba la memoria de otro servidor sin involucrar la CPU en ninguno de los dos lados. Combinado con GPUDirect RDMA, los datos pueden moverse de GPU a GPU a través de nodos mientras evitan en gran medida las copias de memoria del host.

Para el entrenamiento multinodo, esto es lo que mantiene la eficiencia en la escalabilidad. La razón por la que un clúster de, digamos, docenas o cientos de GPUs puede entrenar un modelo grande en un tiempo razonable es que la red inter-nodo sigue el ritmo de la comunicación colectiva que demanda el algoritmo. Si se usa una red común, el mismo trabajo puede pasar una gran parte de su tiempo real esperando en la red.

Qué cargas de trabajo realmente necesitan esto

Filtrar por NVLink o InfiniBand tiene sentido cuando la comunicación, no solo la computación bruta, está en el camino crítico:

• Entrenamiento y ajuste fino de modelos grandes que fragmentan parámetros, estado del optimizador o capas entre GPUs (paralelismo tensorial, por pipeline o completamente fragmentado) — estos esquemas generan tráfico constante entre GPUs y se benefician más de NVLink dentro de un nodo e InfiniBand entre nodos.
• Entrenamiento distribuido multinodo donde el trabajo simplemente no cabe en un solo servidor — aquí InfiniBand es el factor decisivo para la eficiencia en la escalabilidad.
• HPC y simulación científica con comunicación inter-procesos estrecha, que ha confiado en InfiniBand y RDMA durante años.
• Inferencia de contexto grande o modelos grandes que divide un solo modelo entre múltiples GPUs, donde NVLink reduce la penalización de latencia del acceso cruzado a atención y pesos entre GPUs.

Realmente es excesivo para trabajo con una sola GPU. Ajustar un modelo pequeño, ejecutar inferencia por lotes que cabe en una sola tarjeta, la mayoría de trabajos de renderizado y experimentación funcionan bien en una GPU independiente. Pagar la prima por un nodo estrechamente interconectado o un clúster InfiniBand no aporta beneficio si su trabajo nunca cruza el límite de la GPU.

Qué verificar antes de alquilar

Los dos interconectores a menudo se confunden en el marketing, así que verifique los detalles contra la comparación anterior:

• Alcance — confirme si el listado se refiere a NVLink (acoplamiento de GPUs dentro del nodo) o InfiniBand (red entre nodos). Una instancia de un solo nodo puede tener NVLink y no tener InfiniBand en absoluto.
• Topología y ancho — cuántas GPUs comparten el dominio NVLink (NVSwitch completo todo a todo vs. puentes parciales), y la tasa del enlace InfiniBand y si RDMA/GPUDirect está habilitado.
• Generación — las generaciones más nuevas de GPU tienen NVLink de mayor ancho de banda; una etiqueta “NVLink” por sí sola no indica la velocidad.
• Disponibilidad multinodo — si realmente puede reservar múltiples nodos interconectados, y si están en la misma red en lugar de dispersos por el centro de datos.
• Soporte de software — que NCCL, MPI y su framework detecten y usen la red; una mala configuración cae silenciosamente a rutas lentas.

En costo y disponibilidad, las instancias ricas en interconectores están hacia el extremo más alto del espectro. Los nodos multi-GPU con NVLink y los clústeres conectados por InfiniBand usan hardware premium y tienen demanda constante, por lo que la capacidad bajo demanda es más limitada y las opciones spot o interrumpibles son más escasas que para GPUs individuales comunes. Las asignaciones multinodo de InfiniBand en particular suelen estar restringidas, reservadas o vendidas en bloques más grandes. Tome los precios en la tabla anterior como referencia en vivo, ya que las tarifas cambian y difieren según el proveedor.

Preguntas frecuentes

¿Necesito ambos, NVLink e InfiniBand?

Depende de la escala. Un trabajo multi-GPU en un solo nodo solo necesita NVLink. En el momento en que su entrenamiento abarca múltiples servidores, también quiere InfiniBand conectando esos nodos — los dos operan en diferentes capas, así que un clúster grande típicamente depende de NVLink dentro de cada caja e InfiniBand entre cajas.

¿Mi carga de trabajo de una sola GPU correrá más rápido en una instancia con NVLink o InfiniBand?

No. Ambos interconectores solo importan cuando los datos se mueven entre GPUs o entre nodos. Una carga de trabajo que cabe en una GPU nunca toca ninguna de las dos redes, por lo que pagaría una prima por capacidad que no puede usar. Filtre por estas solo cuando escale más allá de una GPU.

¿Por qué el interconector importa más que las especificaciones por GPU para trabajos grandes de entrenamiento?

El entrenamiento distribuido pasa una gran parte de cada paso intercambiando gradientes y activaciones. Si la red no puede seguir el ritmo, las GPUs quedan inactivas mientras esperan sincronizarse, y agregar más GPUs produce rendimientos decrecientes. Un interconector rápido es lo que preserva una escalabilidad casi lineal a medida que agrega aceleradores.

¿NVLink está disponible en todas las instancias multi-GPU?

No. Algunos nodos multi-GPU conectan sus tarjetas solo a través de PCIe, que tiene un ancho de banda GPU a GPU mucho menor. La presencia de múltiples GPUs no garantiza NVLink, así que confirme el interconector explícitamente en la comparación anterior en lugar de asumirlo por el número de GPUs.