I migliori fornitori di GPU Cloud con NVIDIA H100

Cos’è realmente la NVIDIA H100

La H100 è l’acceleratore per data center di NVIDIA basato sull’architettura Hopper, la generazione che si colloca tra la più vecchia Ampere A100 e le più recenti parti Blackwell. È la GPU a cui la maggior parte dei team si rivolge quando desidera un addestramento serio di modelli di grandi dimensioni o un’inferenza ad alto throughput senza scendere fino alle schede consumer. Quando noleggia un’istanza H100 dal confronto sopra, sta noleggiando un acceleratore AI progettato appositamente piuttosto che una GPU da gaming riadattata, e questo influisce sia su ciò che può fare sia sul suo costo.

Le caratteristiche hardware chiave che contano per un locatario:

• Memoria: la variante SXM5 è dotata di 80 GB di HBM3, mentre la variante PCIe utilizza HBM2e, anch’essa da 80 GB nella versione mainstream. Un aggiornamento successivo, l’H100 NVL, aumenta la capacità per scheda. La grande e veloce memoria HBM è la ragione principale per scegliere questa scheda rispetto alle opzioni basate su GDDR6.
• Larghezza di banda della memoria: l’HBM3 sulla versione SXM5 offre circa 3 TB/s, molto superiore a quanto raggiungono le schede consumer GDDR6/GDDR6X. La larghezza di banda, non i FLOP grezzi, è ciò che mantiene alimentati gli strati grandi dei transformer.
• Tensor core e precisioni: i tensor core di quarta generazione supportano FP16, BF16, TF32, INT8 e — novità con Hopper — FP8. FP8 è la caratteristica principale per i moderni carichi di lavoro LLM, raddoppiando approssimativamente il throughput rispetto a FP16 sui kernel supportati mantenendo un’accuratezza accettabile con la giusta scalatura.
• Transformer Engine: Hopper abbina l’hardware FP8 a un software che gestisce dinamicamente la precisione per ogni layer, motivo per cui il throughput dell’H100 nell’addestramento e nell’inferenza dei transformer può superare di gran lunga la generazione precedente sullo stesso modello.
• Interconnessione: le schede SXM5 utilizzano NVLink e NVSwitch di quarta generazione per collegamenti GPU-to-GPU ad alta larghezza di banda all’interno di un nodo, mentre le schede PCIe si affidano al bus PCIe (con ponti NVLink opzionali su alcune varianti). Questa distinzione è estremamente importante per i lavori multi-GPU.
• Classe di potenza: la scheda SXM5 è un componente da circa 700 W in un chassis server con 8 GPU; la scheda PCIe ha un consumo inferiore, intorno ai 350 W. Non si paga direttamente la bolletta elettrica quando si noleggia, ma questo spiega perché queste istanze sono dense, calde e di conseguenza hanno un prezzo adeguato.

Quali carichi di lavoro si adattano realmente all’H100

L’H100 giustifica il suo costo su lavori legati alla memoria e affamati di throughput. È una scelta forte per:

• Addestramento e fine-tuning di modelli di grandi dimensioni: 80 GB di HBM consentono di gestire batch più grandi e frammenti di parametri più ampi per GPU, e NVLink rende efficiente la scalabilità multi-GPU e multi-nodo per l’addestramento parallelo su dati e tensori.
• Inferenza LLM ad alto throughput: FP8 e il Transformer Engine lo rendono eccellente per servire modelli di linguaggio di grandi dimensioni con un alto volume di richieste, dove conta il numero di token al secondo per dollaro.
• Fine-tuning di modelli da medi a grandi: fine-tuning completi e metodi efficienti in termini di parametri su modelli da miliardi di parametri si adattano comodamente dove schede con VRAM inferiore costringono a un offloading aggressivo.
• Calcolo scientifico e HPC: un forte throughput FP64 (a differenza delle schede consumer, che sono volutamente deboli in questo ambito) lo rende adatto per simulazioni e lavori numerici, non solo per l’AI.

È eccessivo per sperimentazioni su modelli piccoli, inferenza leggera di modelli compatti, ML classico, notebook e la maggior parte dei lavori di rendering o visualizzazione — questi funzionano bene su schede molto più economiche, e noleggiare un H100 per questi casi è per lo più uno spreco di denaro. Raramente è sottodimensionato per lavori su singolo nodo; la principale ragione che spinge i team a superarlo è la necessità di più memoria aggregata di quella che un singolo nodo di queste schede può offrire, o il desiderio di ottenere i guadagni di efficienza della generazione più recente.

SXM vs PCIe — la variante che si noleggia conta

Questo è il dettaglio più trascurato quando si noleggia. Le schede SXM5 offrono una larghezza di banda superiore, una completa interconnessione NVLink/NVSwitch e frequenze sostenute più elevate, motivo per cui l’addestramento multi-GPU serio quasi sempre le utilizza. Le schede PCIe sono più economiche da ospitare e vanno bene per inferenza su singola GPU o lavori più piccoli, ma i loro collegamenti inter-GPU sono più lenti. Se l’annuncio sopra non specifica la variante, consideri questo un punto da chiarire prima di impegnarsi in un addestramento multi-GPU.

Costo di noleggio, disponibilità e scarsità

Nello spettro dei costi delle GPU in cloud, l’H100 si posiziona vicino alla cima — sopra la A100 e molto sopra le schede consumer come la RTX 4090 — anche se è stata superata dal punto di vista assoluto dall’hardware più recente della classe Blackwell. Poiché le tariffe esatte variano costantemente e dipendono da provider, regione, durata dell’impegno e variante, è consigliabile consultare i numeri aggiornati nel confronto sopra piuttosto che affidarsi a una cifra fissa. Alcuni punti qualitativi rimangono stabili:

• On-demand vs spot: la capacità H100 interruptible o spot può essere sostanzialmente più economica rispetto all’on-demand, il che è adatto per addestramenti con checkpoint e inferenza batch tollerante ai guasti, ma è rischiosa per lavori lunghi senza checkpoint affidabili.
• Scarsità: la fornitura di H100 è storicamente limitata, quindi la disponibilità — non solo il prezzo — varia per regione e provider. L’annuncio più economico è inutile se la capacità è esaurita nella sua regione.
• Per GPU vs nodo completo: molti provider noleggiano singole H100, ma le migliori prestazioni multi-GPU si ottengono con nodi NVLink completi da 8 GPU; verifichi se sta ottenendo accesso frazionale, singolo o a nodo completo.
• Granularità di fatturazione: la fatturazione al secondo o al minuto favorisce fine-tuning brevi e inferenza a raffica; i minimi orari favoriscono le esecuzioni lunghe. Abbini il modello al suo schema di lavoro.

Domande frequenti

Quanta VRAM ha una H100 in cloud?

La H100 mainstream dispone di 80 GB di memoria ad alta larghezza di banda — HBM3 sulla variante SXM5 e HBM2e sulla variante PCIe. Un aggiornamento successivo, l’H100 NVL, aumenta la capacità per scheda. Confermi sempre la variante esatta e la quantità di memoria nell’annuncio sopra, poiché ciò determina la dimensione massima del modello e del batch che può eseguire senza offloading.

Conviene noleggiare una H100 rispetto a una A100?

Per l’addestramento e l’inferenza dei transformer, di solito sì: il supporto FP8 di Hopper e il Transformer Engine possono offrire un throughput per GPU materialmente superiore rispetto alla A100 Ampere, compensando spesso la tariffa oraria più alta su base costo per token o per passo. Per lavori piccoli o con bassa memoria che non sfruttano FP8, una A100 più economica o una scheda consumer possono rappresentare un valore migliore.

Devo scegliere la H100 SXM5 o PCIe?

Scegli SXM5 per addestramento multi-GPU e lavori distribuiti strettamente accoppiati, perché la sua interconnessione NVLink/NVSwitch e la larghezza di banda superiore scalano molto meglio tra le GPU. PCIe va bene ed è spesso più economica per inferenza su singola GPU o carichi di lavoro più piccoli. Se la variante non è specificata, chieda prima di prenotare un lavoro multi-GPU.

Posso risparmiare con istanze H100 spot o interruptible?

Sì, la capacità interruptible è tipicamente molto più economica dell’on-demand e funziona bene per addestramenti con checkpoint frequenti o per inferenza batch che tollera riavvii. Eviti questa modalità per lavori lunghi senza checkpoint, dove un’espulsione a metà esecuzione causerebbe la perdita di ore di calcolo pagato. Confronti entrambe le modalità di prezzo nella tabella sopra.