Beste Cloud GPU-aanbieders met NVIDIA H100

Wat de NVIDIA H100 eigenlijk is

De H100 is NVIDIA’s datacenter-accelerator gebouwd op de Hopper architectuur, de generatie die tussen de oudere Ampere A100 en de nieuwere Blackwell-modellen zit. Het is de GPU waar de meeste teams naar grijpen wanneer ze serieuze training van grote modellen of inference met hoge doorvoer willen, zonder helemaal terug te vallen op consumentenkaarten. Wanneer u een H100-instance huurt uit de vergelijking hierboven, huurt u een speciaal gebouwde AI-accelerator in plaats van een herbestemde gaming-GPU, en dat bepaalt zowel wat het kan als wat het kost.

De belangrijkste hardwarekenmerken die van belang zijn voor een huurder:

• Geheugen: de SXM5-variant wordt geleverd met 80 GB HBM3, terwijl de PCIe-variant HBM2e gebruikt, eveneens met 80 GB op het mainstream model. Een latere update, de H100 NVL, verhoogt de capaciteit per kaart. Het grote, snelle HBM is de belangrijkste reden om deze kaart te kiezen boven opties gebaseerd op GDDR6.
• Geheugenbandbreedte: HBM3 op het SXM5-model levert ongeveer 3 TB/s, ver boven wat consumentenkaarten met GDDR6/GDDR6X bereiken. Bandbreedte, niet ruwe FLOPs, is wat grote transformer-lagen van voldoende data voorziet.
• Tensor cores en precisies: tensor cores van de vierde generatie ondersteunen FP16, BF16, TF32, INT8, en — nieuw met Hopper — FP8. FP8 is de belangrijkste functie voor moderne LLM-werkbelastingen, die de doorvoer ongeveer verdubbelt ten opzichte van FP16 op ondersteunde kernels, terwijl de nauwkeurigheid acceptabel blijft met de juiste schaalverdeling.
• Transformer Engine: Hopper combineert FP8-hardware met software die de precisie per laag dynamisch beheert, waardoor de H100-doorvoer bij transformertraining en inference aanzienlijk voor kan lopen op de vorige generatie bij hetzelfde model.
• Interconnect: SXM5-kaarten gebruiken NVLink en NVSwitch van de vierde generatie voor high-bandwidth GPU-tot-GPU verbindingen binnen een node, terwijl PCIe-kaarten vertrouwen op de PCIe-bus (met optionele NVLink-bridges op sommige varianten). Dit verschil is enorm belangrijk voor multi-GPU taken.
• Vermogensklasse: de SXM5-kaart is een onderdeel van ongeveer 700 W in een 8-GPU serverchassis; de PCIe-kaart zit lager, rond 350 W. U betaalt de stroomkosten niet direct bij het huren, maar dit verklaart waarom deze instances dicht opeengepakt, warm en dienovereenkomstig geprijsd zijn.

Voor welke workloads de H100 echt geschikt is

De H100 verdient zijn geld bij geheugenintensieve, doorvoerhongerige taken. Het is een sterke match voor:

• Training en fine-tuning van grote modellen: 80 GB HBM stelt u in staat grotere batches en grotere parametersplitsingen per GPU te verwerken, en NVLink maakt multi-GPU en multi-node schaalverdeling efficiënt voor data- en tensor-parallelle training.
• Inference met hoge doorvoer voor LLM’s: FP8 en de Transformer Engine maken het uitstekend geschikt voor het bedienen van grote taalmodellen bij een hoog aantal verzoeken, waarbij het aantal tokens per seconde per euro telt.
• Fine-tuning van middelgrote tot grote modellen: volledige fine-tunes en parameter-efficiënte methoden op modellen met miljarden parameters passen comfortabel waar kaarten met minder VRAM agressief offloading vereisen.
• Wetenschappelijke en HPC-berekeningen: sterke FP64-doorvoer (in tegenstelling tot consumentenkaarten, die hier bewust zwak zijn) maakt het geschikt voor simulatie en numeriek werk, niet alleen AI.

Het is overkill voor experimenten met kleine modellen, lichte inference van compacte modellen, klassieke ML, notebooks en de meeste rendering- of visualisatiewerkzaamheden — die draaien prima op veel goedkopere kaarten, en het huren van een H100 daarvoor is meestal geldverspilling. Het is zelden onderkrachtig voor werk op één node; het belangrijkste dat teams doet overstappen is de behoefte aan meer totaal geheugen dan een enkele node van deze kaarten biedt, of de wens voor efficiëntiewinsten van de nieuwste generatie.

SXM versus PCIe — de variant die u huurt is belangrijk

Dit is het meest over het hoofd geziene detail bij het huren. SXM5-kaarten bieden hogere bandbreedte, volledige NVLink/NVSwitch-fabric en hogere constante kloksnelheden, daarom gebruiken serieuze multi-GPU trainingen ze bijna altijd. PCIe-kaarten zijn goedkoper om te hosten en prima voor single-GPU inference of kleinere taken, maar hun inter-GPU verbindingen zijn langzamer. Als in de bovenstaande lijst de variant niet wordt vermeld, beschouw dat dan als een vraag die u moet oplossen voordat u zich vastlegt op een multi-GPU training.

Huurkosten, beschikbaarheid en schaarste

In het spectrum van cloud GPU-kosten zit de H100 aan de bovenkant — boven de A100 en ver boven consumentenkaarten zoals de RTX 4090 — hoewel het door nieuwere hardware van de Blackwell-klasse van de absolute top is verdrongen. Omdat exacte tarieven voortdurend veranderen en verschillen per aanbieder, regio, contractduur en variant, moet u live cijfers uit de vergelijking hierboven lezen in plaats van op een vaste waarde te vertrouwen. Een paar kwalitatieve punten blijven constant:

• On-demand versus spot: onderbreekbare of spot H100-capaciteit kan aanzienlijk goedkoper zijn dan on-demand, wat geschikt is voor checkpointed training en fouttolerante batch-inference, maar risicovol voor lange, ononderbroken taken zonder goede checkpoints.
• Schaarste: de beschikbaarheid van H100 is historisch beperkt, dus beschikbaarheid — niet alleen prijs — varieert per regio en aanbieder. De goedkoopste aanbieding is waardeloos als de capaciteit in uw regio is uitverkocht.
• Per GPU versus volledige node: veel aanbieders verhuren enkele H100’s, maar de beste multi-GPU prestaties komen van volledige 8-GPU NVLink nodes; controleer of u fractie-, enkele of volledige node-toegang krijgt.
• Factureringsgranulariteit: facturering per seconde of minuut is gunstig voor korte fine-tunes en piek-inference; uurlijkse minimums zijn beter voor lange runs. Stem het model af op uw werkbelastingpatroon.

Veelgestelde vragen

Hoeveel VRAM heeft een cloud H100?

De mainstream H100 heeft 80 GB high-bandwidth geheugen — HBM3 op de SXM5-variant en HBM2e op de PCIe-variant. Een latere H100 NVL-update verhoogt de capaciteit per kaart. Bevestig altijd de exacte variant en geheugencapaciteit in de bovenstaande lijst, want dat bepaalt het grootste model en batchgrootte die u kunt draaien zonder offloading.

Is het de moeite waard om een H100 te huren in plaats van een A100?

Voor transformertraining en inference meestal wel: de FP8-ondersteuning en Transformer Engine van Hopper kunnen een materieel hogere doorvoer per GPU leveren dan de Ampere A100, wat vaak de hogere uurtarief compenseert op basis van kosten per token of stap. Voor kleine of geheugenlichte taken die FP8 niet benutten, kan een goedkopere A100 of consumentenkaart een betere waarde zijn.

Moet ik de SXM5 of PCIe H100 kiezen?

Kies SXM5 voor multi-GPU training en nauw gekoppelde gedistribueerde taken, omdat de NVLink/NVSwitch-fabric en hogere bandbreedte veel beter schalen over GPUs. PCIe is prima en vaak goedkoper voor single-GPU inference of kleinere workloads. Als de variant niet is gespecificeerd, vraag dan voordat u een multi-GPU run boekt.

Kan ik geld besparen met spot- of onderbreekbare H100-instances?

Ja, onderbreekbare capaciteit is doorgaans veel goedkoper dan on-demand en werkt goed voor training met frequente checkpoints of batch-inference die herstarts tolereert. Vermijd het voor lange, niet-gecheckpointe taken waarbij een tussentijdse uitval uren betaalde rekentijd zou verspillen. Vergelijk beide prijsmethoden in de tabel hierboven.