Nejlepší cloudové GPU pro generativní AI

Co generativní AI skutečně vyžaduje od pronajaté GPU

Generativní AI je široká oblast. Zahrnuje autoregresivní velké jazykové modely, generátory obrazů a videí založené na difuzi, modely převodu textu na zvuk a hudbu a stále častěji multimodální systémy, které zvládají několik těchto úloh najednou. Spojujícím prvkem je, že modely jsou velké vzhledem k datům, která jim předkládáte, a úzkým hrdlem je téměř vždy paměť GPU spíše než samotný výpočetní výkon. Než si přečtete výše uvedené srovnání, je užitečné vědět, které parametry mají pro tento typ práce největší význam.

• Kapacita VRAM určuje, co vůbec můžete načíst. Váhy modelu musí být uloženy v paměti spolu s aktivacemi a během tréninku také s optimalizačním stavem a gradienty. Inference u kvantizovaného modelu s 7B–13B parametry je pohodlná na jedné 24GB kartě, zatímco obsluha modelu s 70B parametry ve vyšší přesnosti vás posune k akcelerátorům třídy 80GB nebo k více GPU.
• Šířka pásma paměti určuje propustnost tokenů. Generativní inference je omezena pamětí: každý generovaný token vyžaduje streamování vah modelu přes výpočetní jednotky, takže šířka pásma třídy HBM (jaká je u datových akcelerátorů) produkuje mnohem vyšší počet tokenů za sekundu než karty spotřebitelské třídy s GDDR pamětí se stejnou VRAM.
• Podpora nízké přesnosti je zde důležitější než u mnoha jiných úloh. Tensorová jádra, která akcelerují FP16, BF16 a zejména FP8 nebo INT8, umožňují spustit větší modely s menší pamětí a vyšší rychlostí. Hardware podporující FP8 je významným rozlišovacím prvkem jak pro obsluhu, tak pro trénink nejnovějších velkých modelů.
• Propojení se stává rozhodujícím, jakmile model již nelze uložit na jedno GPU. Vysoce propustné linky jako NVLink a uzlové sítě pro trénink na více uzlech udržují více GPU zásobených daty, když jsou váhy modelu rozděleny mezi ně. Nastavení s více GPU pouze přes PCIe funguje, ale omezuje trénink velkých modelů a tensor-paralelní inference.

Přiřazení zátěže správné úrovni

„Generativní AI“ zahrnuje velmi odlišné požadavky na pronájem v závislosti na tom, co děláte. Čtení výše uvedeného seznamu tímto pohledem vám ušetří peníze i frustraci.

Inference a obsluha

Pokud nasazujete model pro generování textu, obrazů nebo zvuku pro uživatele, chcete co nejvyšší šířku pásma paměti za korunu a dostatek VRAM pro uložení modelu plus rozumnou KV cache (paměť na požadavek, která roste s délkou kontextu). U generování ve stylu chatu a dlouhého kontextu může KV cache dosahovat velikosti vah modelu, proto nestavte instanci jen podle velikosti vah. Kvantizace na INT8 nebo FP8 vám umožní provozovat větší modely nebo obsluhovat více současných požadavků na menších kartách. Pro real-time, latencí citlivou obsluhu obvykle jedna rychlá GPU na repliku překoná rozprostření modelu na mnoho GPU.

Doladění a adaptace

Většina týmů, které přizpůsobují základní model, provádí parametricky efektivní doladění (LoRA/QLoRA) místo plného tréninku. Zejména QLoRA udržuje základní model kvantizovaný a trénuje malé adaptivní váhy, což výrazně snižuje požadavky na VRAM — podstatné modely lze doladit na jedné kartě 24GB–48GB. Plné doladění velkých modelů naopak vyžaduje v paměti optimalizační stav a gradienty, což může několikanásobně zvýšit požadavky a posunout vás k akcelerátorům 80GB nebo multi-GPU uzlům s rychlým propojením.

Předtrénink a rozsáhlý trénink

Trénink rozsáhlého generativního modelu od začátku je nejnáročnější případ. Dominují zde škálování na více GPU a více uzlů, proto je důležitá šířka pásma propojení, rychlé sdílené úložiště pro zásobování datových loaderů a spolehlivé špičkové akcelerátory s HBM a podporou FP8. Zde se stává plánování dostupnosti a nedostatku kapacit zásadní, a často má větší smysl rezervovaná nebo závazná kapacita než honba za nejlevnější cenou na trhu.

Jak číst výše uvedené srovnání pro generativní AI

Tabulka zachycuje aktuální specifika, ale zde je, co zvážit při jejím prohlížení:

• Nejdříve VRAM, potom šířka pásma. Filtrovat instance, které skutečně pojmou váš model a jeho KV cache, a pak preferovat paměť třídy HBM pro vyšší propustnost inference.
• Jedno vs více GPU. Pokud se váš model vejde na jedno GPU, jedna rychlá karta je jednodušší a obvykle levnější než multi-GPU box, který nemůžete plně využít. K multi-GPU instancím s NVLink sahajte jen tehdy, když model skutečně přesahuje kapacitu jedné karty.
• Granularita účtování. Generativní zátěže jsou často nepravidelné — dávkové generování obrázků, vyhodnocovací běhy, příležitostné endpointy. Účtování za sekundu nebo minutu a možnost rychle zastavit instance vás chrání před placením za nevyužité akcelerátory.
• Spot vs on-demand. Přerušitelné instance jsou skvělé pro odolné dávkové generování a checkpointované doladění, ale rizikové pro uživatelsky orientované endpointy, které musí být stále dostupné.
• Úložiště a odchozí data. Váhy modelu jsou velké na přenos a trvalé úložiště checkpointů se sčítá; zkontrolujte, jak každá možnost účtuje za úložiště a přenos dat, nejen za čas GPU.

Protože ceny a dostupnost nejžádanějších akcelerátorů se často mění, považujte aktuální údaje v tabulce za zdroj pravdy a použijte zde uvedené rady k rozhodnutí, které řádky vůbec stojí za porovnání.

Často kladené otázky

Kolik VRAM potřebuji pro generativní AI?

Záleží na velikosti modelu a přesnosti. Kvantizované modely v rozsahu 7B–13B běží na 24GB kartách spotřebitelské třídy, středně velké modely a obsluha ve plné přesnosti preferují 48GB karty a velké modely kolem 70B parametrů či více obvykle potřebují akcelerátory třídy 80GB nebo několik GPU dohromady. Vždy si rezervujte navíc paměť pro KV cache při generování dlouhého kontextu.

Mám používat spotové nebo on-demand instance pro generativní AI?

Používejte spotové nebo přerušitelné kapacity pro odolné úlohy, jako je dávkové generování obrázků či videí a checkpointované doladění, kde přerušení znamená jen restart. Používejte on-demand nebo rezervované kapacity pro produkční inference endpointy a jakýkoli dlouhý trénink, který se nedá snadno obnovit, protože neočekávané ukončení je tam mnohem rušivější.

Potřebuji 80GB datacentrovou GPU, nebo postačí spotřebitelská karta?

Pro experimentování, doladění LoRA/QLoRA a obsluhu malých až středních kvantizovaných modelů často postačí 24GB spotřebitelská GPU a je levnější ji pronajmout. Přechod na 80GB akcelerátory s HBM proveďte, když potřebujete vyšší šířku pásma paměti pro propustnost, akceleraci FP8, NVLink pro škálování multi-GPU nebo prostě více místa pro velké modely a velké dávky.

Proč je generování tokenů pomalé, i když GPU není plně využito?

Generativní inference je obvykle omezena šířkou pásma paměti, nikoli výpočetním výkonem, takže můžete vidět vysoké limity tokenů za sekundu i při nízkém využití výpočetních zdrojů. Řešením je karta s rychlejší pamětí (HBM místo GDDR), kvantizace modelu na INT8 nebo FP8, nebo dávkování více požadavků dohromady, aby váhy streamované z paměti sloužily více generacím najednou.