Nejlepší poskytovatelé cloudových GPU s NVIDIA H100

Co vlastně NVIDIA H100 je

H100 je akcelerátor pro datová centra od NVIDIA postavený na architektuře Hopper, která je generací mezi starší Ampere A100 a novějšími čipy Blackwell. Je to GPU, po kterém většina týmů sahá, když chtějí vážný trénink velkých modelů nebo inference s vysokou propustností, aniž by museli sáhnout po spotřebitelských kartách. Když si pronajmete instanci H100 z výše uvedeného srovnání, pronajímáte si specializovaný AI akcelerátor, nikoli přestavěnou herní GPU, což ovlivňuje jak jeho možnosti, tak cenu.

Klíčové hardwarové vlastnosti, které jsou důležité pro nájemce:

• Paměť: varianta SXM5 je vybavena 80 GB HBM3, zatímco PCIe varianta používá HBM2e, rovněž 80 GB u hlavní verze. Pozdější aktualizace, H100 NVL, zvyšuje kapacitu na kartu. Velká a rychlá HBM paměť je nejdůležitějším důvodem, proč si vybrat tuto kartu před možnostmi založenými na GDDR6.
• Šířka pásma paměti: HBM3 na SXM5 verzi poskytuje přibližně 3 TB/s, což je výrazně více než u spotřebitelských karet GDDR6/GDDR6X. Šířka pásma, nikoli čistý počet FLOPs, je to, co udržuje velké vrstvy transformerů zásobené daty.
• Tensorová jádra a přesnosti: čtvrtá generace tensorových jader podporuje FP16, BF16, TF32, INT8 a — nově s Hopper — FP8. FP8 je hlavní funkcí pro moderní pracovní zátěže LLM, přibližně zdvojnásobuje propustnost oproti FP16 na podporovaných jádrech a zároveň udržuje přijatelnou přesnost s vhodným škálováním.
• Transformer Engine: Hopper kombinuje hardware FP8 se softwarem, který dynamicky řídí přesnost na jednotlivých vrstvách, což umožňuje, že propustnost H100 při tréninku a inferenci transformerů může výrazně překonat předchozí generaci na stejném modelu.
• Propojení: desky SXM5 používají čtvrtou generaci NVLink a NVSwitch pro vysokorychlostní propojení GPU uvnitř uzlu, zatímco PCIe karty spoléhají na sběrnici PCIe (s volitelnými NVLink můstky u některých variant). Tento rozdíl je zásadní pro úlohy s více GPU.
• Třída spotřeby: karta SXM5 má přibližně 700 W v serverové skříni s 8 GPU; PCIe karta má nižší spotřebu, kolem 350 W. Při pronájmu přímo neplatíte za elektřinu, ale toto vysvětluje, proč jsou tyto instance husté, horké a odpovídajícím způsobem naceněné.

Pro jaké pracovní zátěže je H100 skutečně vhodný

H100 se vyplatí u paměťově náročných úloh s vysokou propustností. Je vhodný pro:

• Trénink a doladění velkých modelů: 80 GB HBM umožňuje držet větší dávky a větší části parametrů na jedno GPU, a NVLink zajišťuje efektivní škálování multi-GPU a multi-uzlového tréninku datově i tensorově paralelního.
• Inference LLM s vysokou propustností: FP8 a Transformer Engine jej činí vynikajícím pro obsluhu velkých jazykových modelů při vysokém počtu požadavků, kde záleží na počtu tokenů za sekundu na dolar.
• Doladění středně velkých až velkých modelů: plné doladění a metody efektivní na parametry u modelů s miliardami parametrů pohodlně zvládne, kde menší karty s menší VRAM nutí k agresivnímu offloadingu.
• Vědecké a HPC výpočty: silná propustnost FP64 (na rozdíl od spotřebitelských karet, které jsou zde záměrně slabé) jej činí vhodným i pro simulace a numerické výpočty, nejen pro AI.

Je přehnaný pro experimentování s malými modely, lehkou inferencí kompaktních modelů, klasické ML, notebooky a většinu renderování nebo vizualizace — tyto úlohy běží dobře na mnohem levnějších kartách a pronájem H100 pro ně je většinou zbytečná ztráta peněz. Zřídka je nedostatečně výkonný pro práci na jednom uzlu; hlavním důvodem, proč týmy hledají něco jiného, je potřeba větší celkové paměti, než kolik poskytuje jeden uzel těchto karet, nebo touha po efektivitě nejnovější generace.

SXM vs PCIe — varianta, kterou pronajímáte, je důležitá

Toto je nejčastěji přehlížený detail při pronájmu. Desky SXM5 nabízejí vyšší šířku pásma, plnou NVLink/NVSwitch síť a vyšší stabilní frekvence, proto je vážný multi-GPU trénink téměř vždy používá. PCIe karty jsou levnější na provoz a vhodné pro inferenci na jednom GPU nebo menší úlohy, ale jejich propojení mezi GPU je pomalejší. Pokud výpis výše neuvádí variantu, považujte to za otázku, kterou je třeba vyřešit před závazným multi-GPU tréninkem.

Cena pronájmu, dostupnost a vzácnost

V cloudovém spektru cen GPU se H100 řadí mezi nejdražší — nad A100 a výrazně nad spotřebitelskými kartami jako RTX 4090 — i když byl z absolutního vrcholu vytlačen novějším hardwarem třídy Blackwell. Protože přesné ceny se neustále mění a liší podle poskytovatele, regionu, délky závazku a varianty, měli byste číst aktuální čísla z výše uvedeného srovnání, nikoli věřit pevně daným hodnotám. Několik kvalitativních bodů zůstává stálých:

• On-demand vs spot: přerušitelná nebo spot kapacita H100 může být výrazně levnější než on-demand, což je vhodné pro trénink s kontrolními body a odolnou dávkovou inferenci, ale riskantní pro dlouhé jednorázové úlohy bez dobrého checkpointingu.
• Vzácnost: dodávky H100 byly historicky omezené, takže dostupnost — nejen cena — se liší podle regionu a poskytovatele. Nejlevnější nabídka je bezcenná, pokud je kapacita ve vašem regionu vyprodaná.
• Na GPU vs celý uzel: mnoho poskytovatelů pronajímá jednotlivé H100, ale nejlepší multi-GPU výkon přináší plné 8-GPU NVLink uzly; zkontrolujte, zda máte přístup k dílčímu, jednomu nebo celému uzlu.
• Granularita účtování: účtování po sekundách nebo minutách je výhodné pro krátké doladění a nepravidelnou inferenci; hodinové minimální poplatky jsou výhodné pro dlouhé běhy. Přizpůsobte model vašemu vzoru pracovních zátěží.

Často kladené otázky

Kolik VRAM má cloudové H100?

Hlavní verze H100 má 80 GB vysokorychlostní paměti — HBM3 u varianty SXM5 a HBM2e u varianty PCIe. Pozdější aktualizace H100 NVL zvyšuje kapacitu na kartu. Vždy si ověřte přesnou variantu a velikost paměti ve výpisu výše, protože to určuje největší model a velikost dávky, kterou můžete spustit bez offloadingu.

Stojí za to pronajmout H100 místo A100?

Pro trénink a inferenci transformerů obvykle ano: podpora FP8 a Transformer Engine u Hopperu může přinést výrazně vyšší propustnost na GPU než Ampere A100, což často vyváží vyšší hodinovou sazbu při pohledu na cenu za token nebo krok. Pro malé nebo paměťově nenáročné úlohy, které FP8 nevyužijí, může být lepší volbou levnější A100 nebo spotřebitelská karta.

Měl bych si vybrat SXM5 nebo PCIe H100?

Vyberte SXM5 pro multi-GPU trénink a úzce propojené distribuované úlohy, protože jeho NVLink/NVSwitch síť a vyšší šířka pásma lépe škálují přes GPU. PCIe je vhodné a často levnější pro inferenci na jednom GPU nebo menší pracovní zátěže. Pokud varianta není uvedena, zeptejte se před rezervací multi-GPU běhu.

Mohu ušetřit peníze s instancemi H100 typu spot nebo přerušitelnými?

Ano, přerušitelná kapacita je obvykle mnohem levnější než on-demand a dobře funguje pro trénink s častými kontrolními body nebo dávkovou inferenci, která toleruje restart. Vyhněte se jí u dlouhých úloh bez checkpointingu, kde by vyřazení během běhu znamenalo ztrátu hodin placeného výpočetního času. Porovnejte oba způsoby cen v tabulce výše.