Legjobb felhőalapú GPU-szolgáltatók NVIDIA H100-zal

Mi is az NVIDIA H100 valójában

Az H100 az NVIDIA adatközponti gyorsítója, amely a Hopper architektúrán alapul, ez a generáció az idősebb Ampere A100 és az újabb Blackwell chipek között helyezkedik el. Ez az a GPU, amelyhez a legtöbb csapat nyúl, amikor komoly nagyméretű modelltréningre vagy nagy áteresztőképességű inferenciára van szükség anélkül, hogy teljesen a fogyasztói kártyák szintjére esnének vissza. Amikor az előző összehasonlításból H100 példányt bérel, egy kifejezetten AI-gyorsításra tervezett eszközt bérel, nem pedig egy átalakított játékra szánt GPU-t, és ez meghatározza, hogy mit tud és mennyibe kerül.

A bérlő számára fontos kulcsfontosságú hardverjellemzők:

• Memória: az SXM5 változat 80 GB HBM3-mal érkezik, míg a PCIe változat HBM2e memóriát használ, szintén 80 GB kapacitással a mainstream modellen. Egy későbbi frissítés, az H100 NVL növeli a kártyánkénti kapacitást. A nagy és gyors HBM a legfőbb oka annak, hogy ezt a kártyát választják a GDDR6 alapú opciók helyett.
• Memória sávszélesség: az SXM5-ös HBM3 körülbelül 3 TB/s sávszélességet biztosít, ami messze meghaladja a fogyasztói GDDR6/GDDR6X kártyákét. A sávszélesség, nem a nyers FLOP-ok száma tartja táplálva a nagy transzformátor rétegeket.
• Tensor magok és pontosságok: a negyedik generációs tensor magok támogatják az FP16, BF16, TF32, INT8 formátumokat, és – újdonságként a Hopperrel – FP8 formátumot is. Az FP8 a modern nagynyelvű modell (LLM) munkaterhelések fő jellemzője, amely megközelítőleg megduplázza az áteresztőképességet az FP16-hoz képest a támogatott kernel-eknél, miközben a megfelelő skálázással elfogadható pontosságot tart fenn.
• Transformer Engine: a Hopper az FP8 hardvert olyan szoftverrel párosítja, amely dinamikusan kezeli a pontosságot rétegenként, ezért az H100 áteresztőképessége a transzformátor tréning és inferencia során jelentősen meghaladja az előző generációét ugyanazon modellen.
• Interkonekt: az SXM5 kártyák negyedik generációs NVLink és NVSwitch technológiát használnak a nagy sávszélességű GPU-k közötti kapcsolathoz egy csomóponton belül, míg a PCIe kártyák a PCIe buszt használják (néhány változaton opcionális NVLink hidakkal). Ez a különbség rendkívül fontos több-GPU-s munkák esetén.
• Teljesítményosztály: az SXM5 kártya körülbelül 700 W-os, egy 8-GPU-s szerverházas környezetben; a PCIe kártya alacsonyabb, körülbelül 350 W. A bérlés során nem Ön fizeti közvetlenül az áramköltséget, de ez magyarázza, hogy ezek a példányok sűrűek, melegek és ennek megfelelően árazottak.

Milyen munkaterhelésekhez valóban alkalmas az H100

Az H100 a memóriaigényes, nagy áteresztőképességű feladatokon bizonyítja értékét. Erősen megfelel a következőkhöz:

• Nagy modell tréning és finomhangolás: a 80 GB HBM lehetővé teszi nagyobb batch-ek és nagyobb paraméterdarabok tárolását GPU-nként, az NVLink pedig hatékony több-GPU-s és több-csomópontos skálázást tesz lehetővé adat- és tensor-párhuzamos tréninghez.
• Nagy áteresztőképességű LLM inferencia: az FP8 és a Transformer Engine kiválóvá teszi nagy nyelvi modellek nagy kérésmennyiségű kiszolgálására, ahol a tokenek másodpercenkénti száma és költsége számít.
• Közepes és nagy modellek finomhangolása: teljes finomhangolások és paraméterhatékony módszerek többmilliárd paraméteres modelleken kényelmesen elférnek, ahol a kisebb VRAM-mal rendelkező kártyák agresszív áthelyezésre kényszerítenek.
• Tudományos és HPC számítások: erős FP64 áteresztőképesség (ellentétben a fogyasztói kártyákkal, amelyek itt szándékosan gyengék) alkalmassá teszi szimulációkra és numerikus munkákra, nem csak AI-ra.

Kis modellek kísérletezéséhez, könnyű inferenciához kompakt modellekkel, klasszikus gépi tanuláshoz, jegyzetfüzetekhez és a legtöbb renderelési vagy vizualizációs munkához túlzás az H100 — ezek jól futnak jóval olcsóbb kártyákon, és az H100 bérlése rájuk általában pénzpazarlás. Ritkán alulteljesítő egyszercsomópontos munkákhoz; a fő ok, ami miatt a csapatok tovább lépnek, az az, ha több összesített memóriára van szükségük, mint amit egyetlen ilyen kártya csomópont nyújt, vagy ha az új generációs hatékonysági előnyöket keresik.

SXM vagy PCIe — a bérelt változat számít

Ez a legkevésbé figyelembe vett részlet a bérlésnél. Az SXM5 kártyák magasabb sávszélességet, teljes NVLink/NVSwitch hálózatot és magasabb tartós órajeleket kínálnak, ezért a komoly több-GPU-s tréningek szinte mindig ezeket használják. A PCIe kártyák olcsóbbak a hosztolásra és alkalmasak egyszemélyes GPU-s inferenciára vagy kisebb munkákra, de az inter-GPU kapcsolataik lassabbak. Ha a fenti listában nem tüntetik fel a változatot, ezt tisztázza le, mielőtt több-GPU-s tréningbe kezd.

Bérleti díj, elérhetőség és hiány

A felhő GPU-k költségskáláján az H100 a csúcskategóriában helyezkedik el — az A100 fölött és jóval a fogyasztói kártyák, mint az RTX 4090 fölött — bár az abszolút csúcsot az újabb Blackwell-osztályú hardver vette át. Mivel a pontos árak folyamatosan változnak és szolgáltatónként, régiónként, elköteleződési időszakonként és változatonként eltérnek, mindig az előző összehasonlítás élő adatait olvassa, ne bízzon fix számokban. Néhány minőségi pont állandó:

• Azonnali vs spot: a megszakítható vagy spot H100 kapacitás jelentősen olcsóbb lehet az azonnalinál, ami megfelel checkpointolt tréninghez és hibabiztos kötegelt inferenciához, de kockázatos hosszú, egyetlen futásos munkákhoz jó checkpointolás nélkül.
• Hiány: az H100 kínálata történelmileg szűkös volt, ezért az elérhetőség — nem csak az ár — régiónként és szolgáltatónként változik. A legolcsóbb ajánlat értéktelen, ha az adott régióban a kapacitás elfogyott.
• GPU-nkénti vs teljes csomópont: sok szolgáltató egyetlen H100-at ad bérbe, de a legjobb több-GPU-s teljesítmény teljes, 8-GPU-s NVLink csomópontokból származik; ellenőrizze, hogy részleges, egyetlen vagy teljes csomópont hozzáférést kap-e.
• Számlázási részletesség: a másodperces vagy perces számlázás előnyös a rövid finomhangolásokhoz és a szaggatott inferenciához; az óránkénti minimumok a hosszú futásoknak kedveznek. Igazítsa a modellt a munkamintázathoz.

Gyakran ismételt kérdések

Mennyi VRAM-ja van egy felhőbeli H100-nak?

A mainstream H100 80 GB nagy sávszélességű memóriával rendelkezik — HBM3 az SXM5 változaton és HBM2e a PCIe változaton. Egy későbbi H100 NVL frissítés növeli a kártyánkénti kapacitást. Mindig ellenőrizze a pontos változatot és memóriaadatot a fenti listában, mivel ez határozza meg a legnagyobb modellt és batch méretet, amit offload nélkül futtathat.

Megéri-e az H100 bérlése az A100 helyett?

Transzformátor tréninghez és inferenciához általában igen: a Hopper FP8 támogatása és a Transformer Engine lényegesen magasabb áteresztőképességet nyújthat GPU-nként, mint az Ampere A100, ami gyakran ellensúlyozza a magasabb óradíjat token- vagy lépésalapon számolva. Kis vagy memóriaigényes munkákhoz, amelyek nem használják ki az FP8-at, olcsóbb A100 vagy fogyasztói kártya lehet jobb érték.

Melyiket válasszam, az SXM5 vagy a PCIe H100-at?

Válassza az SXM5-öt több-GPU-s tréninghez és szorosan összekapcsolt elosztott munkákhoz, mert az NVLink/NVSwitch hálózata és nagyobb sávszélessége sokkal jobban skálázódik GPU-k között. A PCIe megfelelő és gyakran olcsóbb egyszemélyes GPU-s inferenciához vagy kisebb munkákhoz. Ha a változat nincs megadva, kérdezze meg foglalás előtt több-GPU-s futtatáshoz.

Lehet-e spórolni spot vagy megszakítható H100 példányokkal?

Igen, a megszakítható kapacitás általában sokkal olcsóbb az azonnalinál, és jól működik gyakori checkpointokkal végzett tréninghez vagy újraindítást toleráló kötegelt inferenciához. Kerülje hosszú, checkpoint nélküli munkákhoz, ahol egy futás közbeni kiesés órákra fizetett számítást pazarolna. Hasonlítsa össze mindkét árképzési módot a fenti táblázatban.