I migliori fornitori di GPU Cloud con NVIDIA GH200

Che cos’è realmente il superchip NVIDIA GH200 Grace Hopper

Il GH200 non è una scheda GPU convenzionale da inserire. È un superchip che fonde una GPU NVIDIA di generazione Hopper di classe H100 con una CPU Grace basata su Arm Neoverse a 72 core in un unico modulo, collegati tramite NVLink-C2C — un’interconnessione chip-to-chip coerente che collega CPU e GPU con una larghezza di banda molto superiore rispetto a uno slot PCIe standard. Quando noleggia un’istanza GH200 dal confronto sopra, sta noleggiando quell’intero pacchetto CPU+GPU, non solo una GPU da collegare alla CPU host di qualcun altro.

Questa architettura è il punto cruciale. Poiché la CPU Grace e la GPU Hopper condividono uno spazio di memoria coerente tramite NVLink-C2C, la GPU può accedere al grande pool di memoria LPDDR5X della CPU senza il consueto collo di bottiglia PCIe. Per carichi di lavoro in cui un modello o un dataset supera la memoria ad alta larghezza di banda della GPU, questo cambia ciò che è praticabile eseguire su un singolo nodo.

L’hardware che conta quando lo noleggia

• Memoria GPU: il lato GPU Hopper utilizza HBM3 nel GH200 originale e HBM3e nella variante a capacità superiore. Vedrà configurazioni pubblicizzate intorno a 96 GB di HBM3 e circa 141 GB di HBM3e per superchip — verifichi la cifra esatta nella lista sopra, poiché la capacità di memoria è il differenziatore più importante tra le SKU GH200.
• Memoria di sistema: la CPU Grace aggiunge un grande banco di LPDDR5X (comunemente indicato intorno a 480 GB), accessibile in modo coerente dalla GPU. Combinata con l’HBM, un singolo GH200 espone un ampio spazio di indirizzamento unificato — utile per grandi embedding, cache KV e carichi di lavoro di grafi o raccomandazioni.
• Larghezza di banda della memoria: HBM3/HBM3e fornisce alla GPU diversi terabyte al secondo, mentre NVLink-C2C offre centinaia di GB/s di larghezza di banda coerente CPU-GPU — circa un ordine di grandezza superiore a un collegamento PCIe 5.0 x16.
• Calcolo e precisione: come parte Hopper, la GPU include Tensor Core di quarta generazione e il Transformer Engine, con supporto hardware per FP8, BF16, FP16, TF32, INT8 e FP64. FP8 in particolare è ciò che rende Hopper attraente sia per l’addestramento di LLM sia per l’inferenza ad alto throughput.
• Scalabilità multi-GPU: i moduli GH200 possono essere collegati tramite NVLink e, in design a rack stile NVL32, tramite NVLink Switch fabric, così più superchip si comportano più come un unico grande acceleratore che come un cluster PCIe sparso.
• Classe di potenza e termica: questo è un modulo esclusivamente per data center, ad alto TDP (configurabile comunemente fino a circa 1000 W inclusa la CPU). È raffreddato a liquido o con aria pesante nell’host, motivo per cui la disponibilità è legata a host specializzati piuttosto che a server commodity.

Carichi di lavoro per cui il GH200 è veramente adatto

Il GH200 guadagna il suo posto dove la memoria coerente CPU-GPU e la larghezza di banda HBM fanno un vero lavoro:

• Inferenza su modelli grandi e contesti lunghi: grandi cache KV e pesi voluminosi beneficiano della combinazione di HBM più lo spillover nella LPDDR5X di Grace, permettendo a un singolo nodo di servire modelli che altrimenti richiederebbero frammentazione su più GPU discrete.
• Fine-tuning e addestramento LLM: FP8 e BF16 tramite il Transformer Engine lo rendono potente per l’addestramento di transformer e il fine-tuning efficiente in termini di parametri, specialmente quando dataset o stati dell’ottimizzatore richiedono molta memoria.
• Carichi di lavoro di raccomandazione, GNN e vettoriali: qualsiasi cosa che trasmetta grandi tabelle o grafi tra memoria CPU e GPU beneficia direttamente della coerenza NVLink-C2C.
• HPC e calcolo scientifico: FP64 nativo più il forte accoppiamento CPU-GPU si adattano a pipeline di simulazione e analisi dati che mescolano lavoro scalare CPU con kernel GPU.

È eccessivo per sperimentazioni su modelli piccoli, fine-tuning classico di computer vision che si adatta comodamente in 24–48 GB, lavori batch non limitati dalla memoria e la maggior parte delle inferenze in tempo reale su modelli piccoli — una scheda Ada o Ampere più economica dal catalogo più ampio sarà più conveniente in quei casi. Il GH200 è inoltre poco adatto per grafica, gaming o rendering workstation: non ha uscite video ed è progettato per il calcolo, non per la rasterizzazione.

Contesto di noleggio: costo, disponibilità e cosa confrontare

Il GH200 si colloca vicino al vertice dello spettro dei costi cloud-GPU, nella stessa fascia premium delle istanze di classe H100, perché si paga per HBM, una CPU Grace inclusa e un’interconnessione ad alta larghezza di banda. L’offerta è realmente scarsa rispetto alla domanda, quindi tende a comparire su host specializzati e focalizzati sull’IA piuttosto che su ogni cloud generalista, e la capacità on-demand può esaurirsi. Prezzi spot o interrompibili esistono in alcuni casi ma sono meno comuni e meno profondi rispetto ad acceleratori più vecchi. Per tariffe live specifiche del provider, si affidi al confronto sopra piuttosto che a qualsiasi cifra fissa, poiché i prezzi variano e si muovono a seconda della regione e del termine di impegno.

Quando legge la tabella, consideri queste dimensioni:

• Capacità HBM (96 GB HBM3 vs ~141 GB HBM3e) — detta la dimensione massima del modello che può essere mantenuto residente.
• Disponibilità on-demand vs riservata vs spot, e impegno minimo.
• Topologia dell’interconnessione per l’addestramento multi-nodo (NVLink fabric vs Ethernet/InfiniBand semplice tra nodi).
• Throughput di storage e costi di uscita, che spesso dominano il costo totale per addestramenti con grandi quantità di dati.
• Granularità di fatturazione (per secondo vs per ora) se i suoi lavori sono brevi o a scatti.

Domande frequenti

Il GH200 è lo stesso di un H100?

Non esattamente. Il GH200 contiene una GPU Hopper strettamente correlata all’H100, ma viene fornito come superchip combinato con una CPU Grace Arm a 72 core e interconnessione coerente NVLink-C2C. Un H100 standalone è solo la GPU abbinata a qualunque host x86 fornisca il provider, quindi il vantaggio del GH200 è il grande pool di memoria coerente CPU-GPU strettamente accoppiato.

Quanta memoria ha un GH200?

Dipende dalla variante. Il lato GPU ha circa 96 GB di HBM3 o circa 141 GB di HBM3e, e la CPU Grace aggiunge un grande banco LPDDR5X (comunemente indicato vicino a 480 GB) a cui la GPU può accedere in modo coerente. Confermi la cifra esatta dell’HBM nella lista sopra, poiché varia per SKU ed è la specifica che limita la dimensione del modello.

Quali precisioni supporta il GH200 per l’IA?

Essendo una parte Hopper, supporta FP8, BF16, FP16, TF32, INT8 e FP64 tramite Tensor Core di quarta generazione e il Transformer Engine. FP8 è la caratteristica principale per l’addestramento efficiente di modelli grandi e inferenza ad alto throughput.

Quando non conviene noleggiare un GH200?

Se il suo modello si adatta comodamente in 24–48 GB, il suo carico di lavoro non è limitato dalla larghezza di banda della memoria, o ha bisogno solo di inferenza in tempo reale su modelli piccoli, un’istanza Ada o Ampere più economica offrirà un miglior rapporto qualità-prezzo. Il GH200 è vantaggioso specificamente quando la memoria grande, la larghezza di banda HBM o il movimento coerente di dati CPU-GPU sono il collo di bottiglia.