Provedores de GPU em Nuvem com NVLink ou InfiniBand

O que NVLink e InfiniBand realmente fazem quando você aluga computação multi-GPU

NVLink e InfiniBand resolvem o mesmo problema fundamental de dois lados diferentes da máquina: mover dados entre GPUs rápido o suficiente para que os aceleradores passem seu tempo computando em vez de esperando. O filtro acima restringe a lista para instâncias na nuvem que expõem um ou ambos esses interconectores. Eles não são intercambiáveis — um é um tecido intra-nó que conecta GPUs dentro de um único servidor, e o outro é um tecido inter-nós que conecta servidores em um cluster. Para qualquer carga de trabalho que abranja mais de uma GPU, o interconector é frequentemente a diferença entre uma escalabilidade quase linear e uma configuração onde adicionar GPUs mal ajuda.

NVLink: a via rápida entre GPUs dentro de uma caixa

NVLink é o link direto GPU a GPU da NVIDIA. Em vez de rotear o tráfego pelo barramento PCIe do host e CPU, o NVLink conecta GPUs entre si (e em algumas plataformas através de um crossbar NVSwitch) para que toda GPU no nó possa se comunicar com qualquer outra GPU com alta largura de banda e baixa latência. O resultado prático quando você aluga uma instância equipada com NVLink:

• Largura de banda muito maior entre GPUs do que nós apenas com PCIe, o que importa sempre que gradientes, ativações ou fragmentos do modelo precisam ser trocados a cada passo.
• Memória agrupada entre GPUs na prática — um modelo grande demais para a VRAM de uma GPU pode ser dividido no domínio NVLink com o tráfego entre GPUs permanecendo no tecido rápido em vez de passar lentamente pelo PCIe.
• Menor sobrecarga de sincronização para operações coletivas como all-reduce, que dominam o treinamento paralelo de dados.

NVLink vive dentro de um único nó, então seu escopo é tipicamente 2, 4 ou 8 GPUs dependendo do design do servidor. Se um provedor na lista acima anuncia um nó de 8 GPUs “com NVLink”, isso significa que essas oito placas estão fortemente acopladas. Isso não diz nada, por si só, sobre como esse nó se conecta a outros nós.

InfiniBand: o tecido que transforma muitos servidores em um cluster

InfiniBand é uma tecnologia de rede usada para conectar servidores GPU separados. Quando trabalhos de treinamento ultrapassam um único nó, o gargalo se move de dentro da caixa para entre caixas, e a rede Ethernet comum pode travar as GPUs. InfiniBand resolve isso com uma taxa de transferência por link muito alta, latência baixa e previsível, e RDMA (acesso remoto direto à memória), que permite que um servidor leia ou escreva na memória de outro servidor sem envolver a CPU de nenhum dos lados. Combinado com GPUDirect RDMA, os dados podem se mover de GPU para GPU entre nós enquanto evitam em grande parte as cópias na memória do host.

Para treinamento multi-nó, isso é o que mantém a escalabilidade eficiente. A razão pela qual um cluster de, digamos, dezenas ou centenas de GPUs pode treinar um modelo grande em um tempo razoável é que o tecido inter-nó acompanha a comunicação coletiva que o algoritmo exige. Se usar rede comum, o mesmo trabalho pode passar uma grande fração do tempo de relógio esperando pela rede.

Quais cargas de trabalho realmente precisam disso

Filtrar por NVLink ou InfiniBand faz sentido quando a comunicação, não apenas o poder bruto de computação, está no caminho crítico:

• Treinamento e ajuste fino de modelos grandes que fragmentam parâmetros, estado do otimizador ou camadas entre GPUs (paralelismo tensorial, pipeline ou totalmente fragmentado) — esses esquemas geram tráfego constante entre GPUs e se beneficiam mais do NVLink dentro de um nó e do InfiniBand entre nós.
• Treinamento distribuído multi-nó onde o trabalho simplesmente não cabe em um servidor — aqui o InfiniBand é o fator decisivo para eficiência de escalabilidade.
• HPC e simulação científica com comunicação interprocessos apertada, que depende de InfiniBand e RDMA há anos.
• Inferência de contexto grande ou modelo grande que divide um único modelo entre múltiplas GPUs, onde NVLink reduz a penalidade de latência do acesso cruzado a atenção e pesos entre GPUs.

É realmente exagero para trabalho com GPU única. Ajustar um modelo pequeno, rodar inferência em lote que cabe em uma placa, a maioria dos trabalhos de renderização e experimentação funcionam bem em uma GPU isolada. Pagar o prêmio por um nó fortemente interconectado ou um cluster InfiniBand não traz benefício se seu trabalho nunca ultrapassa a fronteira da GPU.

O que verificar antes de alugar

Os dois interconectores são frequentemente confundidos em material de marketing, então verifique os detalhes contra a comparação acima:

• Escopo — confirme se o anúncio significa NVLink (acoplamento de GPUs dentro do nó) ou InfiniBand (rede entre nós). Uma instância de nó único pode ter NVLink e nenhum InfiniBand.
• Topologia e largura — quantas GPUs compartilham o domínio NVLink (NVSwitch all-to-all completo vs. pontes parciais), e a taxa do link InfiniBand e se RDMA/GPUDirect está habilitado.
• Geração — gerações mais novas de GPU trazem NVLink de maior largura de banda; um rótulo “NVLink” sozinho não informa a velocidade.
• Disponibilidade multi-nó — se você pode realmente reservar múltiplos nós interconectados, e se eles ficam no mesmo tecido em vez de espalhados pelo data center.
• Suporte de software — que NCCL, MPI e seu framework vejam e usem o tecido; má configuração recai silenciosamente em caminhos lentos.

Quanto a custo e disponibilidade, instâncias ricas em interconectores ficam na faixa mais alta do espectro. Nós multi-GPU equipados com NVLink e clusters conectados por InfiniBand usam hardware premium e estão em demanda constante, então a capacidade sob demanda é mais limitada e opções spot ou interrompíveis são mais escassas do que para GPUs únicas comuns. Alocações multi-nó InfiniBand em particular são frequentemente controladas, reservadas ou vendidas em blocos maiores. Considere os preços na tabela acima como referência ao vivo, pois as tarifas mudam e diferem por provedor.

Perguntas frequentes

Eu preciso de NVLink e InfiniBand?

Depende da escala. Um trabalho multi-GPU em nó único só precisa de NVLink. No momento em que seu treinamento abrange múltiplos servidores, você também quer InfiniBand conectando esses nós — os dois operam em camadas diferentes, então um grande cluster normalmente depende de NVLink dentro de cada caixa e InfiniBand entre caixas.

Minha carga de trabalho de GPU única vai rodar mais rápido em uma instância com NVLink ou InfiniBand?

Não. Ambos os interconectores só importam quando dados se movem entre GPUs ou entre nós. Uma carga que cabe em uma GPU nunca usa nenhum dos tecidos, então você pagaria um prêmio por capacidade que não pode usar. Filtre por esses apenas quando estiver escalando além de uma GPU.

Por que o interconector importa mais que as especificações por GPU para grandes trabalhos de treinamento?

O treinamento distribuído passa grande parte de cada passo trocando gradientes e ativações. Se o tecido não acompanha, as GPUs ficam ociosas enquanto esperam para sincronizar, e adicionar mais GPUs traz retornos decrescentes. Um interconector rápido é o que preserva a escalabilidade quase linear conforme você adiciona aceleradores.

NVLink está disponível em toda instância multi-GPU?

Não. Alguns nós multi-GPU conectam suas placas apenas via PCIe, que tem largura de banda GPU a GPU muito menor. A presença de múltiplas GPUs não garante NVLink, então confirme o interconector explicitamente na comparação acima em vez de assumir pela contagem de GPUs.