Nejlepší cloudové GPU pro doladění velkých jazykových modelů

Co vlastně jemné doladění vyžaduje od pronajaté GPU

Jemné doladění vezme předtrénovaný model a pokračuje v jeho tréninku na užším datovém souboru, aby se přizpůsobil vašemu oboru, tónu nebo úkolu. Ve srovnání s tréninkem modelu od začátku je výpočetní náklad mnohem nižší, ale požadavky na paměť a pracovní postup jsou stále velmi specifické. Největším omezením je VRAM, protože během jemného doladění musí GPU držet váhy modelu, gradienty, stav optimalizátoru a paměť aktivace pro dávku najednou. Tento kombinovaný nárok, nikoli surový počet teraflopů, obvykle rozhoduje, zda úloha zapadne na kartu, kterou si pronajímáte z výše uvedeného srovnání.

Jak velký tento nárok bude, závisí zcela na zvolené metodě jemného doladění:

• Plné jemné doladění aktualizuje každou váhu a je nejvíce náročné na paměť. Přibližné pravidlo říká, že potřebujete řádově několikanásobek počtu parametrů modelu v bajtech VRAM, pokud zahrnete stav optimalizátoru, což je důvod, proč se plné jemné doladění velkých jazykových modelů obvykle provádí na více GPU uzlech.
• LoRA a QLoRA zamrazují základní váhy a trénují malé nízkorozměrné adaptéry, čímž výrazně snižují paměť potřebnou pro gradienty a stav optimalizátoru. QLoRA také načítá zmrazený základní model v kvantované 4bitové podobě, takže modely, které by jinak potřebovaly více GPU uzlů, lze často jemně doladit na jedné kartě s vysokou VRAM.
• Metody efektivní z hlediska parametrů obecně (adaptéry, prefix tuning) obětují malý strop přesnosti výměnou za dramaticky nižší hardwarové požadavky a jsou důvodem, proč mnoho praktických jemných doladění běží na střední třídě pronajatých GPU místo na špičkových akcelerátorech.

Volba karty podle úkolu

Protože paměťová bariéra dominuje, nejvhodnější způsob, jak číst výše uvedené srovnání, je začít od největšího modelu, který hodláte jemně doladit, a zvolené metody, a pak zpětně určit požadovanou VRAM.

• Jedna GPU s vysokou VRAM (datová centra s velkými HBM paměťovými poli): ideální pro LoRA a QLoRA na středně velkých jazykových modelech, vizuálních modelech a většině jemných doladění difuzních modelů. Toto je optimální volba pro nákladově efektivní práci založenou na adaptérech.
• Více GPU uzlů s NVLink nebo ekvivalentním rychlým propojením: potřebné pro plné jemné doladění větších modelů, kde jsou váhy a stav optimalizátoru rozděleny mezi karty pomocí technik jako ZeRO/FSDP. Zde je propustnost mezi GPU stejně důležitá jako VRAM na kartu, protože rozdělený trénink neustále vyměňuje gradienty; uzel s rychlou sítí udrží GPU napájené, kde by PCIe-only spojení mohlo být úzkým hrdlem.
• Karty spotřebitelské třídy s GDDR pamětí: vhodné pro malé modely a experimenty s QLoRA na rozpočet, ale jejich nižší limity VRAM a častá absence rychlého více GPU propojení je činí nevhodnými, jakmile se jedna úloha nevejde na jednu kartu.

Podpora přesnosti je další hardwarový detail, který stojí za kontrolu. Moderní jemné doladění spoléhá na BF16 a FP16 smíšenou přesnost a kvantované metody spoléhají na INT8/4bitové jádra. Karty s vyspělou podporou tensor-core pro tyto formáty budou jemné doladění provádět výrazně rychleji a umožní vám použít větší dávky než starší hardware, který se uchyluje k méně efektivním cestám.

Funkce poskytovatele, které rozhodují o úspěchu jemného doladění

Jemné doladění je iterativní: zkoušíte konfiguraci, sledujete křivku ztráty, upravujete hyperparametry a znovu spouštíte. Tento rytmus způsobuje, že některé funkce poskytovatele jsou důležitější než u jednorázového inferenčního běhu.

• Trvalé úložiště a rychlé načítání dat: váš datový soubor, cache tokenizéru a kontrolní body musí přežít mezi sezeními. Poskytovatel, který vás nutí znovu nahrávat velký korpus pokaždé, plýtvá skutečnými penězi. Zkontrolujte, zda úložiště přetrvává po zastavení instance a jak je účtován odchozí přenos dat.
• Kontrolní body a přerušitelnost: jemné doladění trvající hodiny těží z častého ukládání kontrolních bodů, což zase umožňuje použít levnější spotové nebo přerušitelné instance. Pokud váš kód čistě pokračuje od posledního kontrolního bodu, přerušení stojí jen minuty, ne celý běh.
• Granularita účtování: účtování za sekundu nebo minutu odměňuje přerušovaný charakter experimentování, kdy čekáte při kontrole výsledků. Hrubé hodinové účtování tento pracovní postup penalizuje.
• Kontrola prostředí: SSH přístup, Docker image a Jupyter notebooky vám umožní přesně zafixovat verze frameworku a CUDA, což je důležité, protože knihovny pro kvantizaci a PEFT jsou citlivé na verze.
• Víceuzlové síťové propojení: pokud očekáváte plné jemné doladění velkých modelů, ověřte, že poskytovatel nabízí uzly s opravdu rychlým propojením uvnitř i mezi uzly, nejen počet GPU v jednom boxu.

Čtení výše uvedeného srovnání z hlediska ceny

Jemné doladění je obvykle krátké a přerušované, nikoli nepřetržité, takže strategie pronájmu se liší od servírování inferencí. Cena na vyžádání vám zajistí garantovanou, nepřerušenou relaci pro kritický běh; spotová a přerušitelná kapacita může výrazně snížit efektivní náklady u experimentů přátelských ke kontrolním bodům, kde je restart levný. Špičkové akcelerátory jsou na vrcholu cenového spektra a bývají vzácnější, takže pro jemné doladění založené na adaptérech často starší karta s vysokou VRAM z výše uvedeného seznamu nabízí lepší poměr cena/výsledek. Použijte tabulku pro aktuální, poskytovatelem specifické ceny a dostupnost; ceny se často mění a liší podle regionu a typu instance, proto považujte jakékoli číslo tam za aktuální zdroj pravdy, nikoli za číslo uvedené v textu.

Často kladené otázky

Kolik paměti GPU potřebuji pro jemné doladění LLM?

Záleží na velikosti modelu a metodě. QLoRA dokáže na jedné kartě s vysokou VRAM pojmout překvapivě velké modely, protože zmrazený základ je kvantován na 4 bity, zatímco plné jemné doladění téhož modelu může vyžadovat paměť několika GPU pro váhy, gradienty a stav optimalizátoru. Začněte od největšího cílového modelu a zvolené metody, pak vyberte kartu nebo uzel z výše uvedeného srovnání s dostatečnou rezervou pro aktivace a velikost dávky.

Je jedna GPU dostatečná, nebo potřebuji více GPU uzel?

Pro LoRA a QLoRA na malých až středních modelech je obvykle jedna GPU s vysokou VRAM dostačující. Plné jemné doladění větších modelů nebo trénink s velkými dávkami obvykle vyžaduje více GPU uzel s rychlým propojením, aby se váhy a gradienty mohly bez úzkých hrdel vyměňovat.

Mohu použít levnější spotové nebo přerušitelné instance pro jemné doladění?

Ano, pokud váš tréninkový cyklus často ukládá kontrolní body a čistě pokračuje. Protože jemné doladění lze restartovat od posledního kontrolního bodu, přerušení stojí jen práci od tohoto bodu, což činí spotovou kapacitu efektivním způsobem, jak snížit náklady u experimentálních běhů bez pevného termínu.

Vyžaduje jemné doladění stejný hardware jako plný trénink?

Ne. Jemné doladění, zejména metody efektivní z hlediska parametrů, vyžaduje mnohem méně paměti a výpočetního výkonu než trénink modelu od začátku, takže často můžete pronajmout menší nebo starší kartu, než by vyžadoval trénink od začátku. Špičkové akcelerátory jsou obvykle zbytečné pro jemné doladění založené na adaptérech a lépe je rezervovat pro rozsáhlé předtrénování.