A legjobb felhőalapú GPU-k AI modellképzéshez

Mit követel valójában egy bérelt GPU az AI modell képzése során

A képzés a gépi tanulási életciklus leginkább erőforrás-igényes szakasza. Ellentétben az inferenciával, amely egy kész modellt egyszer futtat előre minden kérésre, a képzés ismételten továbbítja az adatcsomagokat előre és vissza a hálózaton, kiszámítja a gradiens értékeket, és frissíti a millió vagy milliárd paramétert sok epochon keresztül. Ez az iteratív, hosszú ideig tartó, memóriaigényes mintázat különbözteti meg a jó képzési bérlést a pusztán olcsótól. A fenti összehasonlítás olyan példányokra szűrve készült, amelyek erre a munkára alkalmasak, de az, hogy miért felelnek meg, segít helyesen értelmezni azt.

Amikor képez, a GPU-nak sokkal többet kell tárolnia, mint a modell súlyait. Egyidejűleg tárolja az aktivációkat a visszafelé haladó lépéshez, a gradiens értékeket és az optimalizáló állapotát. Az olyan gyakori optimalizálók esetén, mint az Adam, az optimalizáló állapota önmagában nagyjából háromszorosára növelheti a súlyok memóriaigényét, mert a paramétereken kívül a lendület- és varianciaértékeket is követi. Ez az egyetlen legnagyobb oka annak, hogy egy kártya, amely kényelmesen futtat inferenciát egy adott modellen, memóriahiány miatt kifogyhat, amint megpróbálja finomhangolni vagy előképzni azt.

A képzés szempontjából legfontosabb specifikációk

• A VRAM kapacitása a kemény korlát. Ez határozza meg a legnagyobb modellt és adatcsomag-méretet, amelyet be tud illeszteni, mielőtt kénytelen lenne gradiens checkpointingre, áthelyezésre vagy több GPU közötti megosztásra. Az adatközponti gyorsítók, amelyek nagy sávszélességű memóriával (HBM) rendelkeznek, sokkal több VRAM-mal bírnak, mint a fogyasztói kártyák, ezért a komoly képzés feléjük gravitál.
• A memória sávszélessége táplálja a számítási egységeket. A képzés gyakran memória-korlátozott, így a HBM-osztályú sávszélesség gyakran fontosabb a tényleges áteresztőképesség szempontjából, mint a nyers csúcsteljesítmény (FLOPS). Egy sávszélességben szűkölködő kártya tétlenül hagyja a tenzormagokat.
• Az alacsony precizitás támogatása közvetlenül növeli a sebességet. A tenzormagok gyorsítják az FP16 és BF16 formátumokat, az újabb architektúrák pedig az FP8-at is hozzáadják. A BF16 különösen értékelt a képzés során, mert szélesebb kitevő tartománya ellenáll az FP16-t sújtó túlcsordulásnak és alulcsordulásnak, így a vegyes precizitású futtatások stabilabbak.
• Az összeköttetés határozza meg, mennyire skálázható a rendszer egy GPU-n túl. Az NVLink a node-on belüli kártyák között, valamint a nagy sebességű hálózat, például az InfiniBand a node-ok között eldönti, hogy a gradiens szinkronizáció lesz-e szűk keresztmetszet. Csak PCIe alapú több-GPU-s konfigurációk esetén a kommunikáció akadályozhatja a szétosztott képzést.

Egy-GPU-s, több-GPU-s és több-node-os képzés

Nem minden képzési feladat igényel klasztert. Igazítsa a bérlés méretét a munka méretéhez:

• Egyetlen GPU elegendő kisebb modellekhez, paraméter-hatékony finomhangoláshoz (például LoRA-stílusú adapterekhez) és a legtöbb kísérletezéshez. Itt a legnagyobb VRAM-ot szeretné, amit megengedhet magának, hogy elkerülje a mikro-csomagolási megoldásokat.
• Több-GPU egy node-on alkalmas teljes finomhangolásokhoz és közepes méretű modellekhez. Az adatpárhuzamosság megismétli a modellt és felosztja az adatcsomagot; itt érvényesül az NVLink előnye, amely felgyorsítja az összes-redukciós lépést, amely átlagolja a gradiens értékeket a kártyák között.
• Több-node-os klaszterek szükségesek nagy előképzéshez, ahol a modellt tensor-, pipeline- vagy teljesen megosztott adatpárhuzamossággal osztják meg. Ebben a méretben a node-ok közötti hálózati sávszélesség és topológia ugyanolyan fontos, mint a GPU-k, és egy lassú hálózat elveszítheti a több hardver hozzáadásának előnyét.

Szolgáltató által nyújtott jellemzők, amelyek sikeressé vagy kudarcossá tehetik a képzést

A hardver csak a döntés fele. A hosszú képzési feladatok olyan működési részleteket fednek fel, amelyeket a rövid inferenciai feladatok soha nem érintenek:

• A tároló áteresztőképessége fontos, mert az adatfolyamnak folyamatosan táplálnia kell a GPU-t anélkül, hogy az leállna. Nagy adatállományokhoz gyors, tartós tároló szükséges a számítás közelében; egy lassú lemez vagy távoli tároló korlátozhat egy egyébként alkalmas GPU-t.
• Spot vagy igény szerinti (on-demand) valóban kompromisszum a képzésnél. Az megszakítható példányok jelentősen csökkentik a költséget, de egy megszakítás a futás közben elpazarolja az előrehaladást, hacsak nem checkpointol gyakran és nem tud tisztán folytatni. Az igény szerinti vagy lefoglalt kapacitás megbízhatóságot vásárol azoknak a feladatoknak, amelyeket nem engedhet meg elveszíteni.
• Checkpointolás támogatása és tartós kötetek lehetővé teszik a megszakítások túlélését, az eredmények megállítását és újraindítását anélkül, hogy mindent újra fel kellene tölteni. Ez elengedhetetlen a többnapos futtatásokhoz.
• Számlázási részletesség befolyásolja az összköltséget. A másodperces vagy perces számlázás jutalmazza a rövid, iteratív kísérleteket, míg a durva óránkénti kerekítés bünteti a fejlesztés közbeni gyakori indítás-leállítás ciklusokat.
• Több-GPU-s és több-node-os elérhetőség előzetes megerősítést igényel. Nyolc kártya biztosítása egy node-on vagy több összekapcsolt node esetén nehezebb, mint egyetlen GPU bérlése, és a hiány változó.

Hogyan olvassa a fenti összehasonlítást képzési munkához

Kezdje a modell méretével és az adatállománnyal, majd haladjon kifelé. Becslje meg a szükséges memóriát a súlyok, gradiens értékek és az optimalizáló állapota számára, és szűrje azokat a példányokat, amelyek VRAM-ja ezt a szintet bőven meghaladja. Ezután döntse el, hogy elegendő-e egy GPU, vagy szüksége van NVLink-kapcsolattal rendelkező több-GPU-s node-ra vagy hálózatba kötött klaszterre, és ellenőrizze, hogy a jelöltek kínálnak-e ilyen topológiát. Csak ezután mérlegelje az árat és a számlázási modellt. Egy valamivel drágább példány, több VRAM-mal és gyorsabb összeköttetéssel gyakran hamarabb végez és összességében kevesebbe kerül, mint egy olcsóbb kártya, amely lassú megoldásokra kényszeríti Önt. Mivel a bérleti díjak folyamatosan változnak és szolgáltatónként eltérnek, a fenti táblázat élő adatait tekintse igaz forrásnak, ne pedig az írott szövegben idézett számokat.

Gyakran ismételt kérdések

Mennyi GPU memóriára van szükségem egy modell képzéséhez?

Számoljon jóval többel, mint a modell paraméterszáma. A súlyokon túl tárolnia kell az aktivációkat a visszafelé haladó lépéshez, a gradiens értékeket és az optimalizáló állapotát, ami Adam-stílusú optimalizálók esetén nagyjából háromszorosára növelheti a súlyok memóriaigényét. A vegyes precizitás és olyan technikák, mint a gradiens checkpointing vagy az áthelyezés csökkentik az igényt, de a biztonságos megközelítés a VRAM-ot bőven tartalékolva választani, nem pedig pontosan illeszteni.

Biztonságosak-e a spot vagy megszakítható példányok képzési feladatokhoz?

Lehetnek, feltéve, hogy gyakran checkpointol és a kódja tisztán folytatódik az utolsó mentett állapotból. A spot kapacitás jelentősen csökkenti a költséget, de bármikor visszavehető, így jobban megfelel hibabiztos vagy kísérleti futtatásokhoz, mint egyetlen pótolhatatlan hosszú feladathoz. Az olyan képzéshez, amelyet nem engedhet meg újraindítani, az igény szerinti vagy lefoglalt kapacitás a biztonságosabb választás.

Szükségem van több GPU-ra a képzéshez, vagy elég lesz egy is?

Ez a modell és az adatállomány méretétől függ. A kisebb modellek, a finomhangolás és a paraméter-hatékony módszerek gyakran jól futnak egyetlen nagy VRAM-mal rendelkező GPU-n. A teljes finomhangolások és nagyobb modellek előnyösek több-GPU-s node-okkal, gyors összeköttetéssel, és csak a legnagyobb előképzési feladatok igényelnek valóban több-node-os klasztert gépek közötti nagy sebességű hálózattal.

Miért számít annyira az összeköttetés a képzésnél?

A szétosztott képzés folyamatosan szinkronizálja a gradiens értékeket a GPU-k között. Ha a kapcsolat a kártyák vagy node-ok között lassú, a kommunikáció minden lépésnél akad, és a GPU-k tétlenül várakoznak egymásra. A gyors összeköttetés, mint az NVLink egy node-on belül és az InfiniBand node-ok között megakadályozza, hogy a szinkronizáció legyen a szűk keresztmetszet, így a hardver bővítése valóban felgyorsítja a futást, nem csak többletterhet jelent.