Provedores de GPU em Nuvem com NVLink ou InfiniBand

O que NVLink e InfiniBand realmente fazem quando você aluga computação multi-GPU

NVLink e InfiniBand resolvem o mesmo problema fundamental por dois lados diferentes da máquina: mover dados entre GPUs rápido o suficiente para que os aceleradores gastem seu tempo computando em vez de esperando. O filtro acima restringe a lista para instâncias na nuvem que expõem um ou ambos esses interconectores. Eles não são intercambiáveis — um é um tecido intra-nó que conecta GPUs dentro de um único servidor, e o outro é um tecido inter-nós que conecta servidores juntos em um cluster. Para qualquer carga de trabalho que abranja mais de uma GPU, o interconector é frequentemente a diferença entre escalabilidade quase linear e uma configuração onde adicionar GPUs mal ajuda.

NVLink: a via rápida entre GPUs dentro de uma única máquina

NVLink é o link direto GPU-a-GPU da NVIDIA. Em vez de rotear o tráfego pelo barramento PCIe do host e CPU, o NVLink conecta GPUs entre si (e em algumas plataformas através de um crossbar NVSwitch) para que toda GPU no nó possa se comunicar com todas as outras GPUs com alta largura de banda e baixa latência. O resultado prático quando você aluga uma instância equipada com NVLink:

• Largura de banda muito maior entre GPUs do que nós apenas com PCIe, o que importa sempre que gradientes, ativações ou fragmentos do modelo precisam ser trocados a cada passo.
• Memória agrupada entre GPUs na prática — um modelo grande demais para a VRAM de uma GPU pode ser dividido pelo domínio NVLink com o tráfego entre GPUs permanecendo no tecido rápido em vez de trafegar pelo PCIe lentamente.
• Menor sobrecarga de sincronização para operações coletivas como all-reduce, que dominam o treinamento paralelo por dados.

NVLink vive dentro de um único nó, então seu escopo é tipicamente 2, 4 ou 8 GPUs dependendo do design do servidor. Se um provedor na lista acima anuncia um nó com 8 GPUs “com NVLink”, isso significa que essas oito placas estão fortemente acopladas. Isso não diz nada, por si só, sobre como esse nó se conecta a outros nós.

InfiniBand: o tecido que transforma muitos servidores em um cluster

InfiniBand é uma tecnologia de rede usada para conectar servidores GPU separados. Quando trabalhos de treinamento ultrapassam um único nó, o gargalo se move de dentro da caixa para entre as caixas, e a rede Ethernet comum pode travar as GPUs. InfiniBand resolve isso com uma taxa de transferência por link muito alta, latência baixa e previsível, e RDMA (acesso remoto direto à memória), que permite que um servidor leia ou escreva a memória de outro servidor sem envolver a CPU de nenhum dos lados. Emparelhado com GPUDirect RDMA, os dados podem se mover de GPU para GPU entre nós enquanto evitam em grande parte cópias na memória do host.

Para treinamento multi-nó, isso é o que mantém a escalabilidade eficiente. A razão pela qual um cluster de, digamos, dezenas ou centenas de GPUs pode treinar um modelo grande em um tempo razoável é que o tecido inter-nós acompanha a comunicação coletiva que o algoritmo exige. Usar rede comum faz o mesmo trabalho gastar uma grande fração do tempo de relógio esperando pela rede.

Quais cargas de trabalho realmente precisam disso

Filtrar por NVLink ou InfiniBand faz sentido quando a comunicação, não apenas o poder bruto de computação, está no caminho crítico:

• Treinamento e ajuste fino de modelos grandes que fragmentam parâmetros, estado do otimizador ou camadas entre GPUs (paralelismo tensorial, pipeline ou totalmente fragmentado por dados) — esses esquemas geram tráfego constante entre GPUs e se beneficiam mais do NVLink dentro de um nó e InfiniBand entre nós.
• Treinamento distribuído multi-nó onde o trabalho simplesmente não cabe em um servidor — aqui InfiniBand é o fator decisivo para a eficiência da escalabilidade.
• HPC e simulação científica com comunicação interprocessos apertada, que depende de InfiniBand e RDMA há anos.
• Inferência com contexto grande ou modelo grande que divide um único modelo entre múltiplas GPUs, onde NVLink reduz a penalidade de latência do acesso cruzado a atenção e pesos entre GPUs.

É realmente exagero para trabalho com uma única GPU. Ajustar um modelo pequeno, rodar inferência em lote que cabe em uma placa, a maioria dos trabalhos de renderização e experimentação funcionam bem em uma GPU isolada. Pagar o prêmio por um nó fortemente interconectado ou um cluster InfiniBand não traz benefício se seu trabalho nunca ultrapassa a fronteira da GPU.

O que verificar antes de alugar

Os dois interconectores são frequentemente confundidos em material de marketing, então verifique os detalhes contra a comparação acima:

• Escopo — confirme se o anúncio significa NVLink (acoplamento de GPUs dentro do nó) ou InfiniBand (rede entre nós). Uma instância de nó único pode ter NVLink e nenhum InfiniBand.
• Topologia e largura — quantas GPUs compartilham o domínio NVLink (NVSwitch all-to-all completo vs. pontes parciais), e a taxa do link InfiniBand e se RDMA/GPUDirect está habilitado.
• Geração — gerações mais novas de GPU trazem NVLink com maior largura de banda; um rótulo “NVLink” sozinho não indica a velocidade.
• Disponibilidade multi-nó — se você pode realmente reservar múltiplos nós interconectados, e se eles ficam no mesmo tecido em vez de espalhados pelo data center.
• Suporte de software — que NCCL, MPI e seu framework vejam e usem o tecido; má configuração recai silenciosamente em caminhos lentos.

Quanto a custo e disponibilidade, instâncias ricas em interconectores ficam no topo do espectro. Nós multi-GPU equipados com NVLink e clusters conectados por InfiniBand usam hardware premium e estão em demanda constante, então a capacidade sob demanda é mais restrita e opções spot ou interrompíveis são mais escassas que para GPUs commodity únicas. Alocações multi-nó InfiniBand em particular são frequentemente controladas, reservadas ou vendidas em blocos maiores. Considere os preços na tabela acima como referência atual, pois as tarifas mudam e diferem por provedor.

Perguntas frequentes

Eu preciso de NVLink e InfiniBand?

Depende da escala. Um trabalho multi-GPU em nó único só precisa de NVLink. No momento em que seu treinamento abrange múltiplos servidores, você também quer InfiniBand conectando esses nós — os dois operam em camadas diferentes, então um cluster grande normalmente depende de NVLink dentro de cada máquina e InfiniBand entre máquinas.

Meu trabalho com uma única GPU vai rodar mais rápido em uma instância com NVLink ou InfiniBand?

Não. Ambos os interconectores só importam quando dados se movem entre GPUs ou entre nós. Um trabalho que cabe em uma GPU nunca usa nenhum dos tecidos, então você pagaria um prêmio por capacidade que não pode usar. Filtre por esses apenas quando estiver escalando além de uma GPU.

Por que o interconector importa mais que as especificações por GPU para grandes trabalhos de treinamento?

Treinamento distribuído gasta uma grande parte de cada passo trocando gradientes e ativações. Se o tecido não consegue acompanhar, as GPUs ficam ociosas enquanto esperam para sincronizar, e adicionar mais GPUs traz retornos decrescentes. Um interconector rápido é o que preserva a escalabilidade quase linear à medida que você adiciona aceleradores.

NVLink está disponível em toda instância multi-GPU?

Não. Alguns nós multi-GPU conectam suas placas apenas via PCIe, que tem largura de banda muito menor entre GPUs. A presença de múltiplas GPUs não garante NVLink, então confirme o interconector explicitamente na comparação acima em vez de assumir pela contagem de GPUs.