Meilleurs fournisseurs de GPU Cloud avec NVIDIA H100

Ce qu’est réellement le NVIDIA H100

Le H100 est l’accélérateur de centre de données de NVIDIA construit sur l’architecture Hopper, la génération qui se situe entre l’ancien Ampere A100 et les plus récents modèles Blackwell. C’est le GPU que la plupart des équipes choisissent lorsqu’elles veulent un entraînement sérieux de grands modèles ou une inférence à haut débit sans descendre jusqu’aux cartes grand public. Lorsque vous louez une instance H100 depuis la comparaison ci-dessus, vous louez un accélérateur IA conçu à cet effet plutôt qu’un GPU de jeu réutilisé, ce qui détermine à la fois ses capacités et son coût.

Les caractéristiques matérielles clés qui comptent pour un locataire :

• Mémoire : la variante SXM5 est équipée de 80 Go de HBM3, tandis que la variante PCIe utilise de la HBM2e, également à 80 Go sur le modèle grand public. Une mise à jour ultérieure, le H100 NVL, augmente la capacité par carte. La grande mémoire HBM rapide est la principale raison de choisir cette carte plutôt que des options basées sur GDDR6.
• Bande passante mémoire : la HBM3 sur la carte SXM5 offre environ 3 To/s, bien au-dessus de ce que les cartes grand public GDDR6/GDDR6X atteignent. C’est la bande passante, et non les FLOPs bruts, qui alimente les grandes couches de transformeurs.
• Cœurs tensoriels et précisions : les cœurs tensoriels de quatrième génération supportent FP16, BF16, TF32, INT8 et — nouveauté avec Hopper — FP8. Le FP8 est la caractéristique phare pour les charges de travail modernes de LLM, doublant environ le débit par rapport au FP16 sur les noyaux supportés tout en maintenant une précision acceptable avec la bonne mise à l’échelle.
• Moteur Transformer : Hopper associe le matériel FP8 à un logiciel qui gère dynamiquement la précision par couche, ce qui explique pourquoi le débit du H100 sur l’entraînement et l’inférence de transformeurs peut largement dépasser la génération précédente sur le même modèle.
• Interconnexion : les cartes SXM5 utilisent NVLink et NVSwitch de quatrième génération pour des liens GPU-à-GPU à haute bande passante à l’intérieur d’un nœud, tandis que les cartes PCIe s’appuient sur le bus PCIe (avec des ponts NVLink optionnels sur certaines variantes). Cette distinction est extrêmement importante pour les travaux multi-GPU.
• Classe de puissance : la carte SXM5 est une carte d’environ 700 W dans un châssis serveur 8-GPU ; la carte PCIe est plus basse, autour de 350 W. Vous ne payez pas directement la facture d’électricité en louant, mais cela explique pourquoi ces instances sont denses, chaudes et tarifées en conséquence.

Les charges de travail pour lesquelles le H100 est vraiment adapté

Le H100 justifie son coût sur des tâches liées à la mémoire et gourmandes en débit. Il est particulièrement adapté à :

• Entraînement et ajustement de grands modèles : 80 Go de HBM permettent de gérer des lots plus grands et des fragments de paramètres plus volumineux par GPU, et NVLink rend l’échelle multi-GPU et multi-nœuds efficace pour l’entraînement parallèle de données et de tenseurs.
• Inférence LLM à haut débit : FP8 et le Moteur Transformer le rendent excellent pour servir de grands modèles de langage à un volume élevé de requêtes, où le nombre de tokens par seconde par dollar compte.
• Ajustement de modèles moyens à grands : les ajustements complets et les méthodes efficaces en paramètres sur des modèles à plusieurs milliards de paramètres s’adaptent confortablement là où les cartes avec moins de VRAM nécessitent un déchargement agressif.
• Calcul scientifique et HPC : un débit FP64 élevé (contrairement aux cartes grand public qui sont délibérément faibles ici) le rend viable pour la simulation et les travaux numériques, pas seulement pour l’IA.

Il est excessif pour l’expérimentation sur petits modèles, l’inférence légère de modèles compacts, le ML classique, les notebooks et la plupart des travaux de rendu ou de visualisation — ceux-ci fonctionnent très bien sur des cartes beaucoup moins chères, et louer un H100 pour ces usages est surtout du gaspillage d’argent. Il est rarement sous-dimensionné pour le travail sur un seul nœud ; la principale raison qui pousse les équipes à aller au-delà est le besoin de plus de mémoire agrégée que ce qu’un seul nœud de ces cartes offre, ou la recherche des gains d’efficacité de la génération la plus récente.

SXM vs PCIe — la variante que vous louez compte

C’est le détail le plus souvent négligé lors de la location. Les cartes SXM5 offrent une bande passante plus élevée, une architecture complète NVLink/NVSwitch et des fréquences soutenues plus élevées, c’est pourquoi l’entraînement multi-GPU sérieux les utilise presque toujours. Les cartes PCIe sont moins chères à héberger et conviennent pour l’inférence sur un seul GPU ou des tâches plus petites, mais leurs liens inter-GPU sont plus lents. Si l’annonce ci-dessus ne précise pas la variante, considérez cela comme une question à résoudre avant de vous engager dans une session d’entraînement multi-GPU.

Coût de location, disponibilité et rareté

Dans le spectre des coûts GPU cloud, le H100 se situe près du sommet — au-dessus de l’A100 et bien au-dessus des cartes grand public comme la RTX 4090 — bien qu’il ait été dépassé du sommet absolu par le matériel plus récent de classe Blackwell. Comme les tarifs exacts évoluent constamment et varient selon le fournisseur, la région, la durée d’engagement et la variante, vous devriez consulter les chiffres en temps réel dans la comparaison ci-dessus plutôt que de vous fier à un chiffre fixe. Quelques points qualitatifs restent constants :

• À la demande vs spot : la capacité spot ou interruptible du H100 peut être nettement moins chère que la capacité à la demande, ce qui convient à l’entraînement avec points de contrôle et à l’inférence par lots tolérante aux pannes, mais est risqué pour les travaux longs sans bon système de points de contrôle.
• Rareté : l’offre de H100 a historiquement été limitée, donc la disponibilité — pas seulement le prix — varie selon la région et le fournisseur. L’offre la moins chère est inutile si la capacité est épuisée dans votre région.
• Par GPU vs nœud complet : de nombreux fournisseurs louent des H100 individuels, mais la meilleure performance multi-GPU provient de nœuds NVLink complets à 8 GPU ; vérifiez si vous avez accès à une fraction, un GPU unique ou un nœud complet.
• Granularité de facturation : la facturation à la seconde ou à la minute favorise les ajustements courts et l’inférence par rafales ; les minima horaires favorisent les longues sessions. Adaptez le modèle à votre type de charge de travail.

Questions fréquemment posées

Quelle quantité de VRAM possède un H100 cloud ?

Le H100 grand public dispose de 80 Go de mémoire à haute bande passante — HBM3 sur la variante SXM5 et HBM2e sur la variante PCIe. Une mise à jour ultérieure, le H100 NVL, augmente la capacité par carte. Confirmez toujours la variante exacte et la capacité mémoire dans l’annonce ci-dessus, car cela détermine la taille maximale du modèle et du lot que vous pouvez exécuter sans déchargement.

Le H100 vaut-il la peine d’être loué plutôt qu’un A100 ?

Pour l’entraînement et l’inférence de transformeurs, généralement oui : le support FP8 de Hopper et le Moteur Transformer peuvent offrir un débit par GPU nettement supérieur à celui de l’Ampere A100, ce qui compense souvent le tarif horaire plus élevé sur une base coût par token ou par étape. Pour les tâches petites ou peu gourmandes en mémoire qui n’exploitent pas le FP8, un A100 ou une carte grand public moins chère peut être un meilleur rapport qualité-prix.

Dois-je choisir le H100 SXM5 ou PCIe ?

Choisissez SXM5 pour l’entraînement multi-GPU et les travaux distribués étroitement couplés, car son architecture NVLink/NVSwitch et sa bande passante plus élevée s’adaptent bien mieux à l’échelle entre GPUs. Le PCIe convient et est souvent moins cher pour l’inférence sur un seul GPU ou des charges plus petites. Si la variante n’est pas spécifiée, demandez avant de réserver une session multi-GPU.

Puis-je économiser de l’argent avec des instances H100 spot ou interruptibles ?

Oui, la capacité interruptible est généralement beaucoup moins chère que la capacité à la demande, et elle fonctionne bien pour l’entraînement avec points de contrôle fréquents ou pour l’inférence par lots tolérant les redémarrages. Évitez-la pour les travaux longs sans points de contrôle, où une éviction en cours d’exécution gaspillerait des heures de calcul payé. Comparez les deux modes de tarification dans le tableau ci-dessus.