Provedores de GPU na Nuvem com Instâncias Spot / Preemptivas

O que realmente são instâncias spot e preemptíveis de GPU

Uma instância spot ou preemptível de GPU é alugada a partir do pool de capacidade ociosa de um provedor com um grande desconto em troca de uma condição crítica: o provedor pode retomar a máquina a qualquer momento, geralmente com pouco ou nenhum aviso. O hardware é idêntico à versão sob demanda da mesma GPU — a mesma VRAM, os mesmos núcleos tensor, a mesma interconexão — mas o contrato em torno da sua disponibilidade é diferente. Você está comprando computação barata justamente porque é interrompível. Todo provedor na lista acima marcado como oferecendo capacidade spot ou preemptível expõe essa troca de alguma forma, embora os nomes variem: instâncias spot, preemptíveis, interrompíveis, comunitárias ou excedentes descrevem a mesma ideia subjacente.

O desconto existe porque os data centers raramente operam com 100% de utilização. GPUs ociosas não geram receita, então os provedores vendem essa folga por uma fração da tarifa padrão e aceitam que podem precisar retomá-la no momento em que um cliente pagante integral quiser, ou quando suas próprias necessidades de agendamento mudarem. Para o locatário, isso significa que a economia anunciada é real, mas vem com obrigações operacionais que você não tem em um nó sob demanda garantido.

Por que o preço interrompível importa para cargas de trabalho reais

A razão pela qual a capacidade spot vale a pena entender é que o aluguel de GPU é caro, e o desconto nas instâncias interrompíveis costuma ser grande o suficiente para mudar quais projetos são economicamente viáveis. O problema é que nem toda carga de trabalho tolera ser interrompida no meio da execução. O fator decisivo é quase sempre quão bem seu trabalho faz checkpoints e retoma.

• Excelente adequação: execuções longas de treinamento e ajuste fino que salvam checkpoints em armazenamento durável a cada poucos minutos, grandes trabalhos de inferência em lote ou de embeddings, renderização offline, varreduras de hiperparâmetros onde os testes individuais são independentes, e qualquer pipeline já construído em torno da tolerância a falhas.
• Baixa adequação: inferência em tempo real ou de baixa latência servindo uma aplicação ao vivo, sessões interativas de desenvolvimento onde perder a máquina significa perder trabalho não salvo, e treinamento multi-GPU fortemente sincronizado que não pode se recuperar graciosamente quando um nó desaparece.

O modelo mental é simples: se perder a instância custa a você apenas os minutos desde seu último checkpoint, spot é quase sempre a escolha certa. Se perder custa um pedido, um cliente ou horas de estado não salvo, o prêmio do on-demand compra a tranquilidade que vale a pena pagar.

As compensações a considerar

Interrupção é o custo óbvio, mas não é o único. Ao comparar provedores nesse aspecto, mantenha a visão completa em mente:

• Comportamento de retomada: alguns provedores dão um aviso curto de término (geralmente alguns minutos) para que seu trabalho possa salvar o estado e sair limpo; outros podem puxar a máquina instantaneamente. Um período de carência é extremamente valioso porque permite disparar um checkpoint final.
• Variação de disponibilidade: os pools spot flutuam. A GPU exata que você quer pelo preço que viu pode ficar indisponível por períodos, e os aceleradores mais demandados são retomados mais agressivamente do que placas mais antigas ou menos populares.
• Armazenamento que sobrevive à instância: se seus checkpoints vivem apenas no disco local da instância, uma interrupção os apaga. Spot só funciona com segurança quando seus dados e checkpoints estão em armazenamento persistente ou em rede que sobrevive ao nó.
• Atrito na reinicialização: após uma retomada você deve readquirir capacidade, rebaixar sua imagem de container e dados, e retomar — então o tempo de inicialização a frio e o tamanho da imagem afetam seu throughput efetivo e custo.

O que verificar antes de alugar capacidade spot

Como a mesma palavra pode significar coisas diferentes entre provedores, use a comparação acima para confirmar os detalhes em vez de presumir. Antes de comprometer uma carga de trabalho a instâncias interrompíveis, siga esta lista de verificação:

• Janela de aviso: o provedor avisa antes de retomar, e qual é o período de carência? Mesmo 30 a 120 segundos mudam como você projeta seu checkpointing.
• Quão agressivas são as retomadas: as máquinas spot são retomadas apenas sob pressão genuína de capacidade, ou também para reequilíbrios rotineiros? Retomadas frequentes e de baixa pressão corroem as economias.
• Infraestrutura de checkpoint: você pode gravar checkpoints em armazenamento durável de objeto ou em rede de forma barata, e o custo de saída para recuperá-los é razoável? Este é o fator mais importante para o uso seguro do spot.
• Readquisição automática: a plataforma reencaminha e reinicia automaticamente seu trabalho quando a capacidade retorna, ou você precisa programar isso manualmente? Reencaminhamento gerenciado torna o spot muito menos trabalhoso.
• Comportamento multi-GPU e multi-nó: se você precisa de várias GPUs juntas, perder uma pode travar todo o trabalho. Verifique se o provedor pode segurar um grupo atomicamente ou só oferece spot para GPU única.
• Granularidade de cobrança: cobrança por segundo ou por minuto combina bem com spot porque você paga apenas pelo tempo que realmente rodou antes da retomada, em vez de arredondar para cima.

Um padrão prático que muitas equipes adotam é uma configuração híbrida: rodar a maior parte do trabalho orientado a throughput e checkpointável no spot para capturar o desconto, enquanto mantém uma pequena base on-demand para qualquer coisa sensível à latência ou com estado. Essa mistura captura a maior parte da economia sem expor as partes do seu pipeline que realmente não toleram interrupção.

Perguntas frequentes

Vou perder meu trabalho quando uma instância spot de GPU for retomada?

Você perde qualquer estado que exista apenas na instância no momento em que ela é retomada — incluindo progresso não salvo e qualquer coisa no disco local. Você não perde trabalho que já tenha sido gravado em armazenamento persistente ou em rede. É por isso que checkpointing frequente em armazenamento durável é a disciplina central para usar capacidade spot com segurança; com bom checkpointing você perde no máximo os poucos minutos desde sua última gravação.

O hardware da GPU é diferente em instâncias spot versus sob demanda?

Não. Instâncias spot e sob demanda usam o mesmo hardware físico, então a GPU, sua VRAM, seus núcleos tensor e sua interconexão são idênticos. A única diferença é o contrato em torno da disponibilidade e preço: spot é mais barato, mas interrompível, enquanto sob demanda custa mais e não é retomado de você. Você está pagando pela continuidade garantida, não por um silício mais rápido.

Quanto as instâncias spot podem realmente economizar em comparação com as sob demanda?

O desconto é tipicamente substancial e é a principal razão para escolher capacidade interrompível, mas o valor exato varia por provedor, modelo de GPU, região e demanda atual, e muda constantemente. Em vez de confiar em um único número, verifique a comparação ao vivo acima para a diferença atual entre spot e sob demanda na GPU específica que você deseja.

Quais cargas de trabalho nunca devem rodar em instâncias spot?

Evite spot para qualquer coisa que não possa sobreviver a um desaparecimento repentino: inferência ao vivo de baixa latência por trás de uma aplicação de produção, sessões interativas com trabalho não salvo, e trabalhos multi-GPU fortemente acoplados que não podem se recuperar quando um nó é perdido. Para esses, o prêmio do on-demand vale a pena. Tudo que faz checkpoints limpos e tolera reinícios — treinamento, ajuste fino, inferência em lote, renderização e varreduras — é bem adequado para spot.