A legjobb felhőalapú GPU-k generatív mesterséges intelligenciához

Mit követel valójában a generatív MI egy bérelt GPU-tól

A generatív MI egy tág kategória. Magában foglalja az autoregresszív nagy nyelvi modelleket, a diffúziós alapú kép- és videógenerátorokat, a szövegből hang- és zenemodelleket, valamint egyre inkább a multimodális rendszereket, amelyek egyszerre több ilyen feladatot is kezelnek. A közös pont, hogy a modellek nagyok a bemeneti adatokhoz képest, és a szűk keresztmetszet szinte mindig a GPU memória, nem pedig a nyers számítási kapacitás. Mielőtt elolvassa a fenti összehasonlítást, hasznos tudni, mely dimenziók befolyásolják leginkább ezt a munkaterhelést.

• A VRAM kapacitása határozza meg, hogy egyáltalán mit tud betölteni. Egy modell súlyainak el kell férniük a memóriában az aktivációkkal együtt, és a tanítás során az optimalizáló állapotával és a gradiens értékekkel is. Egy kvantált 7B–13B paraméteres modell inferenciája kényelmesen fut egyetlen 24 GB-os kártyán, míg egy 70B modell magasabb pontosságú kiszolgálása 80 GB-os kategóriájú gyorsítók vagy több GPU felé terel.
• A memória sávszélessége határozza meg a token áteresztőképességet. A generatív inferencia memória-korlátos: minden generált tokenhez a modell súlyait át kell juttatni a számítási egységeken, ezért a HBM-osztályú sávszélesség (amely adatközponti gyorsítókon található) sokkal magasabb token/másodperc értéket eredményez, mint a GDDR-alapú fogyasztói kártyák azonos VRAM mellett.
• Az alacsony precizitású támogatás itt fontosabb, mint sok más munkaterhelésnél. Az FP16, BF16, és különösen az FP8 vagy INT8 gyorsítását lehetővé tevő tensor magok lehetővé teszik nagyobb modellek futtatását kevesebb memóriával és nagyobb sebességgel. Az FP8-kompatibilis hardver jelentős különbséget jelent mind a kiszolgálás, mind a tanítás során a legújabb nagy modelleknél.
• Az összeköttetés döntővé válik, ha egy modell már nem fér el egyetlen GPU-n. A nagy sávszélességű kapcsolatok, mint az NVLink, és a többcsomópontos tanításhoz szükséges csomópont-szintű hálózatok biztosítják, hogy több GPU táplálva legyen, amikor a súlyokat megosztják közöttük. A kizárólag PCIe alapú több-GPU-s rendszerek működnek, de korlátozzák a nagy modellek tanítását és a tensor-párhuzamos inferenciát.

A munkaterhelés illesztése a megfelelő szinthez

A “generatív MI” nagyon eltérő bérlési igényeket foglal magában attól függően, mit csinál. Ha ezt a listát ezen szemüvegen keresztül olvassa, pénzt és bosszúságot takaríthat meg.

Inferenciára és kiszolgálásra

Ha modellt telepít szöveg, kép vagy hang generálására a felhasználók számára, akkor a legmagasabb memória sávszélességet szeretné a pénzéért, és elegendő VRAM-ot, hogy a modell mellett egy ésszerű KV cache (a kérésenkénti memória, amely a kontextus hosszával nő) is elférjen. Chat-stílusú és hosszú kontextusú generálásnál a KV cache mérete vetekedhet a súlyokéval, ezért ne csak a modell súlyai alapján méretezze az instance-ot. Az INT8 vagy FP8 kvantálás lehetővé teszi nagyobb modellek illesztését vagy több egyidejű kérés kiszolgálását kisebb kártyákon. Valós idejű, késleltetésérzékeny kiszolgálás esetén általában egyetlen gyors GPU replikánként jobb, mint egy modellt sok GPU között vékonyan elosztani.

Finomhangolás és adaptáció

A legtöbb csapat, amely alapmodell testreszabásával foglalkozik, paraméterhatékony finomhangolást (LoRA/QLoRA) végez a teljes tanítás helyett. Különösen a QLoRA tartja kvantált állapotban az alapmodellt, és kis adapter súlyokat tanít, ami drámaian csökkenti a VRAM igényt — jelentős modellek finomhangolhatók egyetlen 24GB–48GB-os kártyán. Ezzel szemben a nagy modellek teljes finomhangolása az optimalizáló állapotát és a gradiens értékeket is memóriában tartja, ami többszörösére növelheti az igényt, és 80GB-os gyorsítók vagy több-GPU-s csomópontok használatát teszi szükségessé erős összeköttetéssel.

Előzetes tanítás és nagyszabású tanítás

Egy jelentős generatív modell nulláról történő tanítása a legigényesebb eset. Itt a több-GPU-s és több-csomópontos skálázás dominál, ezért az összeköttetés sávszélessége, a gyors megosztott tároló az adatok folyamatos betöltéséhez, valamint a megbízható, csúcskategóriás gyorsítók HBM-mel és FP8 támogatással mind számítanak. Itt válik tervezési kérdéssé az igény szerinti elérhetőség és a szűkösség, és ahol a lekötött vagy fenntartott kapacitás gyakran értelmesebb, mint a legolcsóbb spot árak hajszolása.

Hogyan olvassa a fenti összehasonlítást generatív MI esetén

A táblázat élő specifikációkat kezel, de íme, mit mérlegeljen, amikor átnézi:

• Először a VRAM, majd a sávszélesség. Szűrje azokat az instance-okat, amelyek valóban elférnek a modelljével és annak KV cache-ével, majd preferálja az HBM-osztályú memóriát az inferencia áteresztőképességhez.
• Egy- vagy több-GPU. Ha a modell elfér egy GPU-n, egyetlen gyors kártya egyszerűbb és általában olcsóbb, mint egy több-GPU-s gép, amit nem tud teljesen kihasználni. Csak akkor válasszon NVLink-kapcsolattal rendelkező több-GPU-s instance-okat, ha a modell valóban több kártyára terjed ki.
• Számlázási részletesség. A generatív munkaterhelések gyakran hullámzóak — egy képcsomag, egy értékelési futtatás, egy időszakos végpont. A másodperces vagy perces számlázás és az azonnali leállítási lehetőség megvéd a felesleges gyorsító bérleti díjak fizetésétől.
• Spot vagy igény szerinti. Az megszakítható instance-ok kiválóak hibatűrő kötegelt generáláshoz és ellenőrzőpontozott finomhangoláshoz, de kockázatosak olyan felhasználói végpontoknál, amelyeknek folyamatosan elérhetőnek kell lenniük.
• Tárolás és adatforgalom. A modell súlyok nagy méretűek, és az ellenőrzőpontok tartós tárolása összegződik; ellenőrizze, hogy az egyes opciók hogyan számolják a tárolást és az adatforgalmat, ne csak a GPU időt.

Mivel a legkeresettebb gyorsítók árazása és ellátása gyakran változik, a fenti összehasonlítás élő adatait tekintse az igazság forrásának, és használja az itt adott útmutatást, hogy eldöntse, mely sorokat érdemes egyáltalán összehasonlítani.

Gyakran ismételt kérdések

Mennyi VRAM-ra van szükségem generatív MI-hez?

Ez a modell méretétől és a pontosságtól függ. A kvantált modellek 7B–13B paraméter között 24GB-os fogyasztói kártyákon futnak, a közepes méretű modellek és a teljes pontosságú kiszolgálás 48GB-os kártyákat preferál, míg a nagy, körülbelül 70B paraméteres vagy annál nagyobb modellek általában 80GB-os gyorsítókat vagy több GPU-t igényelnek együtt. Mindig számoljon extra memóriával a KV cache számára hosszú kontextusú generálás esetén.

Spot vagy igény szerinti instance-okat használjak generatív MI-hez?

Spot vagy megszakítható kapacitást használjon hibatűrő munkákhoz, mint például kötegelt kép- vagy videó generálás és ellenőrzőpontozott finomhangolás, ahol egy megszakítás csak újraindítást jelent. Igény szerinti vagy fenntartott kapacitást használjon termelési inferencia végpontokhoz és minden hosszú tanítási futtatáshoz, amelyet nem lehet könnyen folytatni, mert egy váratlan megszakítás ott sokkal zavaróbb.

Szükségem van 80GB-os adatközponti GPU-ra, vagy elég egy fogyasztói kártya?

Kísérletezéshez, LoRA/QLoRA finomhangoláshoz és kis- vagy közepes méretű kvantált modellek kiszolgálásához egy 24GB-os fogyasztói GPU gyakran elegendő és olcsóbb bérlésre. Lépjen feljebb HBM-mel támogatott 80GB-os gyorsítókra, ha nagyobb memória sávszélességre van szüksége az áteresztőképességhez, FP8 gyorsításhoz, NVLinkre több-GPU-s skálázáshoz, vagy egyszerűen több helyre nagy modellek és nagy csomagok számára.

Miért lassú a token generálás, ha a GPU nincs teljesen kihasználva?

A generatív inferencia általában memória-sávszélesség korlátos, nem számítási korlátos, ezért láthat magas token/másodperc plafont akkor is, ha a nyers számítási kihasználtság alacsonynak tűnik. A megoldás egy gyorsabb memóriával rendelkező kártya (HBM a GDDR helyett), a modell INT8 vagy FP8 kvantálása, vagy több kérés együttes feldolgozása, hogy a memóriából áramoltatott súlyok egyszerre több generáláshoz szolgáljanak.