Melhores Provedores de GPU na Nuvem com NVIDIA H100

O que realmente é a NVIDIA H100

A H100 é o acelerador de data center da NVIDIA construído na arquitetura Hopper, a geração que fica entre a antiga Ampere A100 e as partes mais recentes Blackwell. É a GPU que a maioria das equipes escolhe quando querem treinamento sério de modelos grandes ou inferência de alta taxa de transferência sem precisar recorrer a placas de consumidor. Quando você aluga uma instância H100 da comparação acima, está alugando um acelerador de IA feito para esse propósito, e não uma GPU de jogos reaproveitada, o que influencia tanto o que ela pode fazer quanto o seu custo.

As principais características de hardware que importam para quem aluga:

• Memória: a variante SXM5 vem com 80 GB de HBM3, enquanto a variante PCIe usa HBM2e, também com 80 GB na versão padrão. Uma atualização posterior, a H100 NVL, aumenta a capacidade por placa. A HBM grande e rápida é a maior razão para escolher essa placa em vez de opções baseadas em GDDR6.
• Largura de banda da memória: a HBM3 na variante SXM5 entrega cerca de 3 TB/s, muito acima do que as placas de consumidor GDDR6/GDDR6X alcançam. A largura de banda, não os FLOPs brutos, é o que mantém as grandes camadas de transformadores alimentadas.
• Núcleos tensor e precisões: os núcleos tensor de quarta geração suportam FP16, BF16, TF32, INT8 e — novidade com Hopper — FP8. FP8 é a característica principal para cargas de trabalho modernas de LLM, dobrando aproximadamente a taxa de transferência em comparação ao FP16 nos kernels suportados, mantendo a precisão aceitável com a escala correta.
• Motor Transformer: Hopper combina hardware FP8 com software que gerencia dinamicamente a precisão por camada, razão pela qual a taxa de transferência do H100 em treinamento e inferência de transformadores pode ficar muito à frente da geração anterior no mesmo modelo.
• Interconexão: as placas SXM5 usam NVLink e NVSwitch de quarta geração para links de alta largura de banda entre GPUs dentro de um nó, enquanto as placas PCIe dependem do barramento PCIe (com pontes NVLink opcionais em algumas variantes). Essa distinção é muito importante para trabalhos multi-GPU.
• Classe de potência: a placa SXM5 consome cerca de 700 W em um chassi de servidor com 8 GPUs; a placa PCIe fica mais baixa, em torno de 350 W. Você não paga diretamente a conta de energia ao alugar, mas isso explica por que essas instâncias são densas, quentes e têm preço correspondente.

Para quais cargas de trabalho a H100 realmente serve

A H100 vale a pena em trabalhos limitados por memória e que demandam alta taxa de transferência. É uma boa escolha para:

• Treinamento e ajuste fino de modelos grandes: 80 GB de HBM permitem manter lotes maiores e fragmentos maiores de parâmetros por GPU, e o NVLink torna eficiente o escalonamento multi-GPU e multi-nó para treinamento paralelo de dados e tensores.
• Inferência de LLM de alta taxa de transferência: FP8 e o Motor Transformer tornam-na excelente para servir grandes modelos de linguagem com alto volume de requisições, onde você se importa com tokens por segundo por dólar.
• Ajuste fino de modelos médios a grandes: ajustes completos e métodos eficientes em parâmetros para modelos com bilhões de parâmetros cabem confortavelmente onde placas com menos VRAM forçam descarregamento agressivo.
• Computação científica e HPC: alto desempenho em FP64 (ao contrário das placas de consumidor, que são propositalmente fracas aqui) torna-a viável para simulação e trabalho numérico, não apenas IA.

É exagero para experimentação com modelos pequenos, inferência leve de modelos compactos, ML clássico, notebooks e a maior parte do trabalho de renderização ou visualização — esses rodam bem em placas muito mais baratas, e alugar uma H100 para eles é na maior parte das vezes desperdício de dinheiro. Raramente é subdimensionada para trabalho em nó único; o principal motivo para equipes buscarem além dela é precisar de mais memória agregada do que um único nó dessas placas oferece, ou querer os ganhos de eficiência da geração mais nova.

SXM vs PCIe — a variante que você aluga importa

Esse é o detalhe mais negligenciado ao alugar. Placas SXM5 oferecem maior largura de banda, tecido completo NVLink/NVSwitch e clocks sustentados mais altos, por isso o treinamento multi-GPU sério quase sempre as utiliza. Placas PCIe são mais baratas para hospedar e servem para inferência single-GPU ou trabalhos menores, mas seus links inter-GPU são mais lentos. Se o anúncio acima não especificar a variante, trate isso como uma dúvida a resolver antes de se comprometer com um treinamento multi-GPU.

Custo de aluguel, disponibilidade e escassez

No espectro de custo de GPUs na nuvem, a H100 fica perto do topo — acima da A100 e muito acima de placas de consumidor como a RTX 4090 — embora tenha sido superada no topo absoluto por hardware mais novo da classe Blackwell. Como as tarifas exatas mudam constantemente e diferem por provedor, região, prazo de compromisso e variante, você deve consultar os números ao vivo na comparação acima em vez de confiar em qualquer valor fixo. Alguns pontos qualitativos permanecem constantes:

• Sob demanda vs spot: capacidade interruptível ou spot da H100 pode ser substancialmente mais barata que sob demanda, o que é adequado para treinamento com checkpoints e inferência batch tolerante a falhas, mas arriscado para trabalhos longos sem checkpoints adequados.
• Escassez: o fornecimento da H100 historicamente tem sido apertado, então a disponibilidade — não só o preço — varia por região e provedor. O anúncio mais barato não vale nada se a capacidade estiver esgotada na sua região.
• Por GPU vs nó completo: muitos provedores alugam H100s individuais, mas o melhor desempenho multi-GPU vem de nós completos com 8 GPUs NVLink; verifique se você está obtendo acesso fracionado, único ou a um nó completo.
• Granularidade de cobrança: cobrança por segundo ou por minuto favorece ajustes finos curtos e inferência em rajadas; mínimos por hora favorecem execuções longas. Combine o modelo ao padrão da sua carga de trabalho.

Perguntas frequentes

Quantos GB de VRAM uma H100 na nuvem tem?

A H100 padrão vem com 80 GB de memória de alta largura de banda — HBM3 na variante SXM5 e HBM2e na variante PCIe. Uma atualização posterior, a H100 NVL, aumenta a capacidade por placa. Sempre confirme a variante exata e a quantidade de memória no anúncio acima, pois isso determina o maior modelo e tamanho de lote que você pode rodar sem descarregamento.

Vale a pena alugar uma H100 em vez de uma A100?

Para treinamento e inferência de transformadores, geralmente sim: o suporte FP8 e o Motor Transformer do Hopper podem entregar taxa de transferência materialmente maior por GPU que a A100 Ampere, o que frequentemente compensa a tarifa horária mais alta em custo por token ou custo por passo. Para trabalhos pequenos ou com pouca memória que não exploram FP8, uma A100 mais barata ou placa de consumidor pode ser melhor custo-benefício.

Devo escolher a H100 SXM5 ou PCIe?

Escolha SXM5 para treinamento multi-GPU e trabalhos distribuídos fortemente acoplados, porque seu tecido NVLink/NVSwitch e maior largura de banda escalam muito melhor entre GPUs. PCIe é adequado e geralmente mais barato para inferência single-GPU ou cargas menores. Se a variante não estiver especificada, pergunte antes de reservar uma execução multi-GPU.

Posso economizar com instâncias spot ou interruptíveis de H100?

Sim, capacidade interruptível costuma ser muito mais barata que sob demanda, funcionando bem para treinamento com checkpoints frequentes ou inferência batch que tolera reinícios. Evite para trabalhos longos sem checkpoints, onde uma expulsão no meio desperdiçaria horas de computação paga. Compare ambos os modos de preço na tabela acima.