Meilleurs fournisseurs de GPU Cloud avec NVIDIA GH200

Ce qu’est réellement la superpuce NVIDIA GH200 Grace Hopper

Le GH200 n’est pas une carte GPU classique à insérer. C’est une superpuce qui fusionne un GPU NVIDIA de génération Hopper de classe H100 avec un CPU Grace basé sur Arm Neoverse à 72 cœurs sur un seul module, reliés par NVLink-C2C — une interconnexion cohérente puce-à-puce qui connecte le CPU et le GPU avec une bande passante bien plus élevée qu’un slot PCIe standard. Lorsque vous louez une instance GH200 depuis la comparaison ci-dessus, vous louez ce package complet CPU+GPU, pas seulement un GPU que vous ajoutez au CPU hôte de quelqu’un d’autre.

Cette architecture est tout l’intérêt. Parce que le CPU Grace et le GPU Hopper partagent un espace mémoire cohérent via NVLink-C2C, le GPU peut accéder à la grande mémoire LPDDR5X du CPU sans le goulot d’étranglement habituel du PCIe. Pour les charges de travail où un modèle ou un jeu de données dépasse la mémoire à haute bande passante propre au GPU, cela change ce qui est pratique à exécuter sur un seul nœud.

Le matériel qui compte quand vous le louez

• Mémoire GPU : le côté GPU Hopper embarque de la HBM3 dans le GH200 original et de la HBM3e dans la variante à plus grande capacité. Vous verrez des configurations annoncées autour de 96 Go de HBM3 et environ 141 Go de HBM3e par superpuce — vérifiez la valeur exacte dans la liste ci-dessus, car la capacité mémoire est le facteur différenciateur principal entre les références GH200.
• Mémoire système : le CPU Grace ajoute une grande banque de LPDDR5X (souvent citée autour de 480 Go), accessible de manière cohérente par le GPU. Combinée à la HBM, un seul GH200 expose un très grand espace d’adressage unifié — utile pour les grands embeddings, caches KV, et les charges de travail de graphes ou de recommandation.
• Bande passante mémoire : la HBM3/HBM3e fournit plusieurs téraoctets par seconde au GPU, tandis que NVLink-C2C offre des centaines de Go/s de bande passante cohérente CPU-GPU — environ un ordre de grandeur au-delà d’un lien PCIe 5.0 x16.
• Calcul et précision : en tant que composant Hopper, le GPU inclut des Tensor Cores de quatrième génération et le Transformer Engine, avec un support matériel pour FP8, BF16, FP16, TF32, INT8 et FP64. Le FP8 en particulier rend Hopper attractif pour l’entraînement de grands modèles de langage (LLM) et l’inférence à haut débit.
• Évolutivité multi-GPU : les modules GH200 peuvent être reliés via NVLink et, dans des configurations de rack de type NVL32, via le tissu NVLink Switch, de sorte que plusieurs superpuces se comportent plus comme un grand accélérateur que comme un cluster PCIe lâche.
• Classe énergétique et thermique : il s’agit d’un module exclusivement pour centres de données, à TDP élevé (configurable généralement jusqu’à environ 1000 W incluant le CPU). Il est refroidi par liquide ou fortement par air dans l’hôte, ce qui explique pourquoi sa disponibilité est liée à des hôtes spécialisés plutôt qu’à des serveurs standards.

Charges de travail adaptées au GH200

Le GH200 trouve sa place là où la mémoire cohérente CPU-GPU et la bande passante HBM font une vraie différence :

• Inférence sur grands modèles et contextes longs : les grands caches KV et les poids volumineux bénéficient de la combinaison HBM plus le débordement dans la LPDDR5X de Grace, permettant à un seul nœud de servir des modèles qui nécessiteraient autrement un partitionnement sur plusieurs GPU discrets.
• Affinage et entraînement de LLM : FP8 et BF16 via le Transformer Engine le rendent performant pour l’entraînement de transformeurs et l’affinage efficace en paramètres, surtout lorsque les jeux de données ou états d’optimiseur sont gourmands en mémoire.
• Recommandation, GNN et charges vectorielles : tout ce qui transfère de larges tables ou graphes entre la mémoire CPU et GPU profite directement de la cohérence NVLink-C2C.
• Calcul haute performance et scientifique : le FP64 natif plus le couplage serré CPU-GPU conviennent aux simulations et pipelines d’analyse de données qui mêlent travail scalaire CPU et noyaux GPU.

Il est excessif pour l’expérimentation sur petits modèles, l’affinage classique en vision par ordinateur qui tient confortablement dans 24–48 Go, les tâches par lots non limitées par la mémoire, et la plupart des inférences en temps réel de petits modèles — une carte Ada ou Ampere moins chère du catalogue général sera plus rentable dans ces cas. Le GH200 n’est pas non plus adapté pour la 3D, les jeux ou le rendu station de travail : il n’a pas de sorties vidéo et est conçu pour le calcul, pas la rasterisation.

Contexte de location : coût, disponibilité et comparaisons

Le GH200 se situe près du sommet du spectre des coûts des GPU cloud, dans la même catégorie premium que les instances de classe H100, car vous payez pour la HBM, un CPU Grace inclus, et une interconnexion à haute bande passante. L’offre est véritablement rare par rapport à la demande, il apparaît donc plutôt sur des hôtes spécialisés et orientés IA que sur tous les clouds généralistes, et la capacité à la demande peut être épuisée. Des tarifs spot ou interrompibles existent mais sont moins fréquents et moins avantageux que pour les accélérateurs plus anciens. Pour des tarifs en temps réel et spécifiques aux fournisseurs, fiez-vous à la comparaison ci-dessus plutôt qu’à un chiffre fixe, car les prix évoluent et varient selon la région et la durée d’engagement.

Quand vous consultez le tableau, pesez ces dimensions :

• Capacité HBM (96 Go HBM3 vs ~141 Go HBM3e) — cela détermine la taille maximale du modèle que vous pouvez garder en mémoire.
• Disponibilité à la demande vs réservée vs spot, et engagement minimum.
• Topologie d’interconnexion pour l’entraînement multi-nœuds (tissu NVLink vs Ethernet/InfiniBand simple entre nœuds).
• Débit de stockage et frais de sortie, qui dominent souvent le coût total pour les entraînements lourds en données.
• Granularité de facturation (à la seconde vs à l’heure) si vos tâches sont courtes ou en rafales.

Questions fréquentes

Le GH200 est-il identique à un H100 ?

Pas tout à fait. Le GH200 contient un GPU Hopper très proche du H100, mais il est livré comme une superpuce combinée à un CPU Grace Arm à 72 cœurs et une interconnexion cohérente NVLink-C2C. Un H100 autonome est juste le GPU associé à un CPU hôte x86 fourni par le prestataire, donc l’avantage du GH200 est le grand pool mémoire cohérent CPU-GPU étroitement couplé.

Quelle quantité de mémoire possède un GH200 ?

Cela dépend de la variante. Le côté GPU embarque environ 96 Go de HBM3 ou environ 141 Go de HBM3e, et le CPU Grace ajoute une grande banque LPDDR5X (souvent citée près de 480 Go) accessible de manière cohérente par le GPU. Vérifiez la valeur exacte de la HBM dans la liste ci-dessus, car elle varie selon le SKU et limite la taille du modèle.

Quelles précisions le GH200 supporte-t-il pour l’IA ?

En tant que composant Hopper, il supporte FP8, BF16, FP16, TF32, INT8 et FP64 via les Tensor Cores de quatrième génération et le Transformer Engine. Le FP8 est la caractéristique phare pour un entraînement efficace de grands modèles et une inférence à haut débit.

Quand la location d’un GH200 n’en vaut-elle pas la peine ?

Si votre modèle tient confortablement dans 24–48 Go, si votre charge de travail n’est pas limitée par la bande passante mémoire, ou si vous avez seulement besoin d’inférence en temps réel sur petits modèles, une instance Ada ou Ampere moins chère offrira un meilleur rapport qualité-prix. Le GH200 est rentable spécifiquement lorsque la mémoire importante, la bande passante HBM ou le déplacement cohérent des données CPU-GPU sont les goulots d’étranglement.