Provedores de GPU em Nuvem com NVLink ou InfiniBand

O que NVLink e InfiniBand realmente fazem quando você aluga computação multi-GPU

NVLink e InfiniBand resolvem o mesmo problema fundamental de dois lados diferentes da máquina: mover dados entre GPUs rápido o suficiente para que os aceleradores passem seu tempo computando em vez de esperando. O filtro acima restringe a lista para instâncias na nuvem que expõem uma ou ambas essas interconexões. Elas não são intercambiáveis — uma é uma tecnologia intra-nó que conecta GPUs dentro de um único servidor, e a outra é uma tecnologia inter-nós que conecta servidores juntos em um cluster. Para qualquer carga de trabalho que abranja mais de uma GPU, a interconexão é frequentemente a diferença entre uma escala quase linear e uma configuração onde adicionar GPUs mal ajuda.

NVLink: a via rápida entre GPUs dentro de uma única máquina

NVLink é o link direto GPU-a-GPU da NVIDIA. Em vez de rotear o tráfego pelo barramento PCIe do host e CPU, o NVLink conecta GPUs entre si (e em algumas plataformas através de um crossbar NVSwitch) para que cada GPU no nó possa se comunicar com todas as outras GPUs com alta largura de banda e baixa latência. O resultado prático quando você aluga uma instância equipada com NVLink:

• Largura de banda muito maior GPU-a-GPU do que nós que usam apenas PCIe, o que importa sempre que gradientes, ativações ou fragmentos do modelo precisam ser trocados a cada passo.
• Memória agrupada entre GPUs na prática — um modelo grande demais para a VRAM de uma GPU pode ser dividido no domínio NVLink com o tráfego entre GPUs permanecendo na rede rápida em vez de passar lentamente pelo PCIe.
• Menor sobrecarga de sincronização para operações coletivas como all-reduce, que dominam o treinamento paralelo por dados.

NVLink vive dentro de um único nó, então seu escopo é tipicamente 2, 4 ou 8 GPUs dependendo do design do servidor. Se um provedor na lista acima anuncia um nó com 8 GPUs “com NVLink”, isso significa que essas oito placas estão fortemente acopladas. Isso não diz nada, por si só, sobre como esse nó se conecta a outros nós.

InfiniBand: a rede que transforma muitos servidores em um cluster

InfiniBand é uma tecnologia de rede usada para conectar servidores GPU separados. Quando trabalhos de treinamento ultrapassam um único nó, o gargalo se move de dentro da máquina para entre máquinas, e a rede Ethernet comum pode travar as GPUs. InfiniBand resolve isso com taxa de transferência muito alta por link, latência baixa e previsível, e RDMA (acesso remoto direto à memória), que permite que um servidor leia ou escreva a memória de outro servidor sem envolver a CPU em nenhum dos lados. Emparelhado com GPUDirect RDMA, os dados podem se mover de GPU para GPU entre nós enquanto evitam em grande parte cópias na memória do host.

Para treinamento multi-nó, isso é o que mantém a escala eficiente. A razão pela qual um cluster de, digamos, dezenas ou centenas de GPUs pode treinar um modelo grande em um tempo razoável é que a rede inter-nós acompanha a comunicação coletiva que o algoritmo exige. Usar rede comum faz com que o mesmo trabalho passe uma grande parte do tempo de execução esperando pela rede.

Quais cargas de trabalho realmente precisam disso

Filtrar por NVLink ou InfiniBand faz sentido quando a comunicação, não apenas o poder bruto de computação, está no caminho crítico:

• Treinamento e ajuste fino de modelos grandes que fragmentam parâmetros, estado do otimizador ou camadas entre GPUs (paralelismo tensorial, pipeline ou totalmente fragmentado) — esses esquemas geram tráfego constante entre GPUs e se beneficiam mais do NVLink dentro de um nó e do InfiniBand entre nós.
• Treinamento distribuído multi-nó onde o trabalho simplesmente não cabe em um servidor — aqui o InfiniBand é o fator decisivo para a eficiência da escala.
• HPC e simulação científica com comunicação interprocessual intensa, que depende de InfiniBand e RDMA há anos.
• Inferência de contexto grande ou modelo grande que divide um único modelo entre múltiplas GPUs, onde o NVLink reduz a penalidade de latência do acesso cruzado a atenção e pesos entre GPUs.

É realmente exagero para trabalho com uma única GPU. Ajustar um modelo pequeno, executar inferência em lote que cabe em uma placa, a maioria dos trabalhos de renderização e experimentação funcionam bem em uma GPU isolada. Pagar o preço premium por um nó fortemente interconectado ou um cluster InfiniBand não traz benefício se seu trabalho nunca ultrapassa a fronteira da GPU.

O que verificar antes de alugar

As duas interconexões são frequentemente confundidas em material de marketing, então verifique os detalhes com base na comparação acima:

• Escopo — confirme se o anúncio significa NVLink (acoplamento de GPUs dentro do nó) ou InfiniBand (rede entre nós). Uma instância de nó único pode ter NVLink e nenhum InfiniBand.
• Topologia e largura — quantas GPUs compartilham o domínio NVLink (NVSwitch all-to-all completo vs. pontes parciais), e a taxa do link InfiniBand e se RDMA/GPUDirect está habilitado.
• Geração — gerações mais novas de GPU trazem NVLink com maior largura de banda; um rótulo “NVLink” sozinho não informa a velocidade.
• Disponibilidade multi-nó — se você pode realmente reservar múltiplos nós interconectados, e se eles ficam na mesma rede em vez de espalhados pelo data center.
• Suporte de software — que NCCL, MPI e seu framework reconhecem e usam a rede; má configuração recai silenciosamente em caminhos lentos.

Quanto a custo e disponibilidade, instâncias ricas em interconexão ficam na faixa mais alta do espectro. Nós multi-GPU equipados com NVLink e clusters conectados por InfiniBand usam hardware premium e estão em demanda constante, então a capacidade sob demanda é mais restrita e opções spot ou interrompíveis são mais escassas do que para GPUs únicas comuns. Alocações multi-nó InfiniBand em particular são frequentemente controladas, reservadas ou vendidas em blocos maiores. Considere os preços na tabela acima como referência atual, pois as tarifas mudam e diferem por provedor.

Perguntas frequentes

Eu preciso de NVLink e InfiniBand?

Depende da escala. Um trabalho multi-GPU em um único nó precisa apenas de NVLink. No momento em que seu treinamento abrange múltiplos servidores, você também quer InfiniBand conectando esses nós — os dois operam em camadas diferentes, então um grande cluster normalmente depende de NVLink dentro de cada máquina e InfiniBand entre máquinas.

Meu trabalho com uma única GPU vai rodar mais rápido em uma instância com NVLink ou InfiniBand?

Não. Ambas as interconexões só importam quando dados se movem entre GPUs ou entre nós. Uma carga de trabalho que cabe em uma GPU nunca usa nenhuma dessas redes, então você pagaria um prêmio por capacidade que não pode usar. Filtre por elas apenas quando estiver escalando além de uma GPU.

Por que a interconexão importa mais do que as especificações por GPU para grandes trabalhos de treinamento?

Treinamento distribuído gasta uma grande parte de cada passo trocando gradientes e ativações. Se a rede não acompanha, as GPUs ficam ociosas esperando sincronizar, e adicionar mais GPUs traz retornos decrescentes. Uma interconexão rápida é o que preserva a escala quase linear conforme você adiciona aceleradores.

NVLink está disponível em toda instância multi-GPU?

Não. Alguns nós multi-GPU conectam suas placas apenas via PCIe, que tem largura de banda GPU-a-GPU muito menor. A presença de múltiplas GPUs não garante NVLink, então confirme a interconexão explicitamente na comparação acima em vez de assumir pelo número de GPUs.