Furnizori de GPU în cloud fără taxe de ieșire

Ce înseamnă de fapt „taxe zero pentru egress” atunci când închiriezi GPU-uri în cloud

Egress este datele care părăsesc rețeaua unui furnizor — octeții pe care îi descarci din cloud pe laptopul tău, către un alt cloud sau către utilizatori finali. Multe platforme de infrastructură măsoară acest trafic și facturează pe gigabyte, în timp ce percep puțin sau deloc pentru ingress (datele care intră). Un gazdă GPU cu „zero egress” sau „$0 egress” promite că extragerea datelor costă nimic în afară de calculul pe care l-ai închiriat deja. Pe o platformă GPU aceasta este o distincție semnificativă, deoarece sarcinile AI și de randare sunt neobișnuit de intensive în date la ieșire: punctele de control ale modelului, greutățile exportate, cadrele randate, rezultatele inferenței batch și seturile de date sintetice trebuie toate să fie transferate undeva odată ce GPU-ul termină.

Motivul pentru care egress-ul este tarifat separat este că lățimea de bandă către internetul public reprezintă un cost real upstream pentru furnizori. Platformele care promovează lipsa taxelor de egress fie absorb acest cost în tariful orar al GPU-ului, operează într-o rețea unde tranzitul este ieftin, fie restricționează transferul gratuit inclus la traficul care rămâne în cadrul propriului lor backbone. Citirea care dintre aceste situații se aplică fiecărei intrări din comparația de mai sus este esențială.

De ce contează egress-ul pentru fluxurile reale de lucru cu GPU

Prețul orar al unui GPU este doar o linie pe factură. Pentru sarcinile intensive în date, transferul poate deveni discret o a doua factură — și spre deosebire de calcul, este greu de anticipat în avans. Tarifarea egress-ului este cea mai dureroasă în următoarele tipare:

• Antrenamentul care exportă puncte de control mari — modelele cu miliarde de parametri produc puncte de control măsurate în zeci sau sute de gigabytes. Dacă faci snapshot frecvent și copiezi fiecare în afara platformei, egress-ul măsurat poate rivaliza cu cheltuiala pentru GPU.
• Inferența batch cu debit mare — generarea de embeddings, subtitrări sau media transformată pentru milioane de elemente înseamnă că volumul output poate depăși cu mult inputul. Acest output este egress în momentul în care părăsește furnizorul.
• Randare și video — cadrele finalizate și videoclipurile codificate sunt mari și aproape întotdeauna sunt extrase înapoi pentru stocare sau livrare, făcând din randare una dintre cele mai sensibile sarcini GPU la egress.
• Pipeline-uri multi-cloud și hibride — mutarea unui set de date sau model între un gazdă GPU și un magazin de obiecte separat, o bază de date vectorială sau un nivel de servire traversează o limită de rețea de fiecare dată, iar fiecare traversare poate fi măsurată.
• Servirea modelelor către utilizatori reali — dacă cutia GPU răspunde direct la cererile API, fiecare token de răspuns sau imagine transmisă către un client este egress.

Zero egress elimină partea facturii care crește proporțional cu cât folosești efectiv rezultatele calculului tău. Pentru experimentare este aproape neglijabil; pentru pipeline-urile de producție care trimit gigabytes pe oră, poate face diferența între doi furnizori ale căror tarife orare GPU păreau identice.

Detaliile ascunse din spatele „fără egress”

Nu toate afirmațiile de „egress gratuit” acoperă același lucru, iar asteriscurile sunt locul unde cumpărătorii sunt surprinși. Când compari intrările de mai sus, verifică exact la care dintre acestea se referă un furnizor:

• Egress public cu adevărat nemăsurat — orice descărcare către internetul deschis este gratuită, fără taxă per GB. Aceasta este forma cea mai puternică și cea mai utilă pentru servirea în producție.
• Doar egress intern gratuit — transferul este gratuit atâta timp cât rămâne în regiunea sau backbone-ul propriu al furnizorului, dar ieșirea către internetul public sau alt cloud este încă taxată. Util doar dacă stocarea și calculul sunt la același furnizor.
• Un nivel gratuit generos, apoi tarifare — un număr fix de gigabytes sau terabytes gratuit pe lună, după care se aplică tarifele normale de egress. Bun pentru sarcini mici, o capcană pentru cele cu volum mare.
• „Gratuit” cu limită de bandă — fără taxă per GB, dar viteza portului este limitată, astfel încât transferurile mari sunt lente, nu costisitoare. Plătești în timp de ceas, nu în bani.
• Egress gratuit, dar egress-ul de stocare separat — extragerea din stocarea bloc atașată poate fi gratuită, în timp ce extragerea dintr-un magazin de obiecte separat nu este. Limita este ceea ce se facturează.

Există un compromis real de evaluat. Un furnizor care include egress gratuit poate avea un tarif orar GPU puțin mai mare, deoarece costul lățimii de bandă trebuie să fie acoperit undeva. Pentru o sarcină cu egress redus — rulări lungi de antrenament care păstrează punctele de control în loc, sau lucru interactiv în notebook — plata unui tarif orar mai mic cu egress măsurat pe care nu îl declanșezi niciodată poate fi mai ieftină în ansamblu. Alegerea corectă depinde în totalitate de raportul dintre output și calcul.

Ce să verifici înainte de a te angaja

• Dacă egress-ul gratuit se aplică traficului internetului public sau doar transferului intra-furnizor.
• Orice limită lunară pentru alocația gratuită și tariful per GB după depășirea acesteia.
• Limita portului/lățimii de bandă, deoarece „gratuit dar lent” tot te costă ore GPU în timp ce datele se descarcă.
• Dacă recuperarea din stocare (citiri din magazinul de obiecte, exporturi de snapshot) este considerată egress separat de egress-ul de rețea.
• Cum interacționează politica cu instanțele spot sau întreruptibile — poate fi necesar să evacuezi datele rapid când un nod este revendicat, iar egress-ul măsurat pe termen scurt este dureros.

Citirea comparației de mai sus pentru egress

Estimă-ți egress-ul înainte să citești tabelul: aproximativ câți gigabytes părăsesc platforma per rulare, înmulțit cu numărul de rulări pe lună. Combină asta cu tariful orar GPU afișat mai sus. Un gazdă cu zero egress și un preț orar marginal mai mare câștigă adesea pentru servirea în producție, inferența batch și randare, unde volumul output-ului este mare și predictibil. Pentru lucrări intensive în antrenament, dar cu output redus, ia în considerare mai întâi tariful orar mai mic și tratează egress-ul ca un factor secundar. Deoarece atât politicile de bandă, cât și prețurile se schimbă, folosește comparația live de mai sus pentru tarifele actuale pe oră și confirmă termenii de egress ai fiecărui furnizor față de punctele enumerate aici.

Întrebări frecvente

Înseamnă „zero egress” că tot transferul meu de date este gratuit?

Nu întotdeauna. În mod fiabil înseamnă că traficul de ieșire nu are taxă per gigabyte, dar unii furnizori limitează asta la traficul care rămâne în rețeaua lor proprie sau includ doar o alocație lunară fixă înainte de începerea măsurării. Transferul de intrare (ingress) este aproape universal gratuit peste tot, deci afirmația despre egress este partea care merită verificată.

Cât pot adăuga realist taxele de egress la o factură GPU?

Depinde în totalitate de volumul output-ului. Câteva notebook-uri experimentale generează un egress neglijabil, deci taxa este o eroare de rotunjire. Un pipeline de producție care exportă puncte de control mari, randări video sau servește răspunsuri de model utilizatorilor poate muta terabytes pe lună, moment în care egress-ul măsurat poate deveni o fracțiune semnificativă din total — uneori apropiindu-se de costul calculului în sine.

Ar trebui să aleg întotdeauna un furnizor cu zero egress?

Nu. Egress-ul gratuit vine uneori cu un tarif orar GPU puțin mai mare. Dacă sarcina ta păstrează datele în loc — rulări lungi de antrenament, dezvoltare interactivă — poți plăti mai puțin în total cu un tarif orar mai ieftin și egress măsurat pe care îl declanșezi rar. Potrivește politica cu raportul output-calcul în loc să consideri zero egress automat mai bun.

Este vreodată egress-ul gratuit limitat?

Da. Unii furnizori oferă fără taxă per gigabyte, dar limitează viteza portului, astfel încât un export mare este lent, nu costisitor. Deoarece ceasul GPU poate continua să funcționeze în timp ce datele se descarcă, „gratuit dar lent” are tot un cost real în ore GPU. Verifică întotdeauna limita de bandă împreună cu prețurile.