Cele mai bune GPU-uri Cloud pentru Stable Diffusion și Generare de Imagini

Ce solicită de fapt Stable Diffusion de la un GPU închiriat

Stable Diffusion și modelele de difuzie conexe (SDXL, SD 1.5, SD 3 și modelele mai noi de imagini și video bazate pe potrivirea fluxului) sunt neobișnuite printre sarcinile AI deoarece consumă mult mai puțină memorie decât modelele mari de limbaj, dar sunt foarte sensibile la debitul brut de calcul și la latența pe pas. O singură imagine de 512×512 sau 1024×1024 este generată prin rularea unui ciclu de denoising de 20 până la 50 de pași printr-un backbone U-Net sau transformer, iar fiecare pas este o explozie de multiplicări de matrice. Acest lucru definește exact ce ar trebui să căutați în comparația de mai sus.

Cifrele principale care contează pentru generarea imaginilor sunt:

• VRAM — inferența de bază SD 1.5 se încadrează confortabil în 6 până la 8 GB, SDXL funcționează mai bine cu 12 până la 16 GB odată ce adăugați refinerul și o dimensiune rezonabilă a lotului, iar modelele mai noi și mai mari (SD 3, transformere de clasă FLUX) tind spre 16 până la 24 GB. Antrenarea unui LoRA sau ajustarea fină necesită un spațiu de memorie vizibil mai mare decât inferența pură.
• Debit tensor FP16 / BF16 — eșantionarea difuziei este dominată de matematica matricială în jumătate de precizie, astfel că performanța nucleelor tensoriale la FP16/BF16 este cel mai bun predictor al imaginilor generate pe minut. Există căi INT8 și FP8 prin cuantizare, dar acestea contează mai puțin pentru fluxurile creative tipice decât pentru servirea la volum mare.
• Lățimea de bandă a memoriei — U-Net este limitat de lățimea de bandă la dimensiuni mici ale lotului, astfel că plăcile cu memorie mai rapidă finalizează fiecare pas de denoising mai repede chiar dacă capacitatea VRAM este identică.
• Puterea unui singur GPU față de scalarea multi-GPU — generarea unei imagini aproape niciodată nu se întinde pe mai multe GPU-uri. Se scalează prin rularea mai multor instanțe independente, nu prin conectarea plăcilor, astfel că NVLink și rețeaua multi-nod sunt în mare parte irelevante aici.

Potrivirea nivelurilor hardware cu fluxul dvs. de lucru pentru imagini

Pentru că difuzia consumă puțină memorie, dar preferă debitul, punctul optim este adesea un accelerator de gamă medie sau de consum, mai degrabă decât plăcile de top pentru centre de date, construite pentru antrenarea modelelor cu trilioane de parametri. Citind lista de mai sus, este util să sortați opțiunile în funcție de ceea ce faceți efectiv.

Lucru creativ interactiv cu o singură imagine

Dacă generați, ajustați și iterați o imagine pe rând într-o interfață web sau notebook, doriți o latență scăzută pe imagine și suficient VRAM pentru modelul dvs. Un GPU de consum cu 16 GB sau 24 GB oferă de obicei cea mai bună experiență pe dolar aici. Plăcile de top pentru centre de date cu 40 GB sau 80 GB vor genera imagini rapid, dar plătiți pentru VRAM și interconectare pe care nu le veți folosi niciodată, deci sunt de obicei exagerate pentru sesiuni creative solo.

Generare în lot și creare de seturi de date

Când aveți nevoie de mii de imagini, debitul este rege. VRAM mai mare vă permite să măriți dimensiunea lotului astfel încât fiecare lansare de kernel să producă mai multe imagini pe trecere, iar obiectivul devine maximizarea imaginilor pe oră pe dolar. Aici calculul se schimbă în favoarea oricărei plăci din comparație care oferă cel mai mare debit tensor FP16 pentru preț, iar instanțele spot sau întreruptibile devin foarte atractive deoarece joburile în lot pot fi salvate și reluate.

Ajustare fină, LoRA și DreamBooth

Antrenarea adaptoarelor sau ajustările fine complete ridică pragul de memorie deoarece acum dețineți stările optimizatorului, gradientele și activările alături de greutățile modelului. Ajustarea fină SDXL este mult mai confortabilă pe 24 GB sau mai mult, iar antrenarea completă a modelului beneficiază de plăci pentru centre de date cu VRAM mai mare și suport BF16. Acesta este singurul scenariu de generare a imaginilor în care trecerea la un nivel superior în tabelul de mai sus este justificată și nu risipitoare.

Caracteristici ale furnizorului care fac sau desfac în tăcere generarea imaginilor

Hardware-ul este doar jumătate din decizie. Mai multe capabilități ale furnizorului au un efect disproporționat asupra fluxurilor de lucru de difuzie în mod specific:

• Granularitatea facturării — facturarea pe secundă sau pe minut recompensează natura explozivă, de pornire și oprire a sesiunilor creative; minimele orare grosiere vă penalizează pentru pornirea doar pentru a reda câteva imagini.
• Timpul de pornire la rece și încărcarea modelului — punctele de control SDXL sunt de mai multe gigaocteți, astfel că stocarea persistentă rapidă sau în cache pentru greutățile, VAE-urile, LoRA-urile și embedding-urile dvs. vă scutește de re-descărcarea a câțiva GB la fiecare sesiune.
• Stocare persistentă — păstrarea modelelor și rezultatelor personalizate pe un volum atașat între sesiuni evită timpul repetat de transfer și egress-ul.
• Spot vs on-demand — instanțele întreruptibile pot reduce dramatic costul generării în lot; pentru lucrul interactiv live, o întrerupere în timpul sesiunii este mai deranjantă, deci on-demand este mai sigur.
• Imagini pre-construite și acces facil — mediile care vin cu CUDA, PyTorch și o interfață de difuzie sau expun Jupyter/SSH vă permit să generați în câteva minute în loc să luptați cu versiunile driverelor.

Folosiți comparația de mai sus pentru a filtra după aceste dimensiuni în loc să urmăriți cea mai mare placă. Pentru majoritatea utilizatorilor Stable Diffusion, un GPU cu VRAM mediu pe o instanță facturată pe secundă cu stocare rapidă învinge un accelerator de top facturat pe oră.

Întrebări frecvente

Cât VRAM am nevoie pentru a rula Stable Diffusion în cloud?

Inferența SD 1.5 rulează în aproximativ 6 până la 8 GB, SDXL este confortabil cu 12 până la 16 GB odată ce includeți refinerul și loturi modeste, iar modelele mai noi, mai mari, bazate pe transformere pentru imagini tind spre 16 până la 24 GB. Dacă intenționați să ajustați fin sau să antrenați LoRA-uri, țintiți 24 GB sau mai mult pentru spațiu suplimentar. Tabelul de mai sus listează VRAM-ul per instanță pentru a-l putea potrivi cu modelul dvs.

Merită să închiriez un GPU de top pentru centre de date doar pentru generarea imaginilor?

De obicei nu pentru lucrul interactiv cu o singură imagine. Difuzia folosește puțin VRAM și nu se întinde niciodată pe mai multe GPU-uri per imagine, astfel că memoria suplimentară și interconectarea de mare viteză pe plăcile de top sunt adesea nefolosite. Acestea își justifică costul în principal pentru rulări mari de ajustare fină sau servire în lot de volum foarte mare; pentru generarea zilnică, un GPU de gamă medie oferă de obicei o valoare mult mai bună.

Ar trebui să folosesc instanțe spot sau întreruptibile pentru Stable Diffusion?

Pentru joburile în lot care produc multe imagini, da — acestea reduc semnificativ costurile și puteți salva și relua dacă instanța este recuperată. Pentru sesiunile interactive live, o întrerupere este mai deranjantă, deci instanțele on-demand sunt alegerea mai sigură. Mulți utilizatori fac prompting explorator on-demand și apoi programează randări în masă pe capacitate spot.

Ce face un furnizor mai rapid decât altul pe același GPU?

Adesea nu este GPU-ul deloc, ci stocarea și comportamentul la pornire. Stocarea persistentă rapidă pentru puncte de control de mai mulți gigaocteți, greutăți de model în cache, medii pre-construite de difuzie și granularitatea fină a facturării reduc timpul și banii cheltuiți înainte de a reda prima imagine. Comparați acestea alături de debitul brut FP16 din lista de mai sus.