Dostawcy chmurowych GPU bez opłat za transfer danych wychodzących

Co naprawdę oznacza “zero opłat za egress” przy wynajmie GPU w chmurze

Egress to dane opuszczające sieć dostawcy — bajty, które pobierasz z chmury na swój laptop, do innej chmury lub do użytkowników końcowych. Wiele platform infrastrukturalnych mierzy ten ruch i nalicza opłaty za gigabajt, podczas gdy za ingress (dane wpływające) pobiera niewiele lub nic. Host GPU z obietnicą “zero egress” lub “$0 egress” gwarantuje, że pobieranie danych nie kosztuje nic ponad już wynajęty czas obliczeniowy. Na platformie GPU jest to istotna różnica, ponieważ obciążenia AI i renderowania generują wyjątkowo dużo danych wychodzących: punkty kontrolne modeli, wyeksportowane wagi, wyrenderowane klatki, wyniki batch inference i syntetyczne zestawy danych muszą gdzieś trafić po zakończeniu pracy GPU.

Powód, dla którego egress jest wyceniany osobno, jest taki, że przepustowość do publicznego internetu stanowi realny koszt dla dostawców. Platformy reklamujące brak opłat za egress albo wliczają ten koszt w godzinową stawkę GPU, działają w sieci, gdzie tranzyt jest tani, albo ograniczają darmowy transfer do ruchu pozostającego w ich własnym szkieletowym łączu. Odczytanie, która z tych opcji dotyczy każdego wpisu w powyższym porównaniu, to cała sztuka.

Dlaczego egress ma znaczenie w rzeczywistych przepływach pracy GPU

Godzinowa cena GPU to tylko jedna pozycja na fakturze. W przypadku zadań intensywnych danych transfer może cicho stać się drugą fakturą — i w przeciwieństwie do obliczeń, trudno go przewidzieć z wyprzedzeniem. Ceny egress najbardziej dotykają w następujących wzorcach:

• Trening eksportujący duże punkty kontrolne — modele z miliardami parametrów generują punkty kontrolne mierzone w dziesiątkach lub setkach gigabajtów. Jeśli często robisz snapshoty i kopiujesz je poza platformę, mierzone egress może dorównać wydatkom na GPU.
• Batch inference o dużej przepustowości — generowanie embeddingów, podpisów lub przetworzonych mediów dla milionów elementów oznacza, że objętość wyjściowa może przewyższać wejściową. To wyjście jest egress w momencie opuszczenia dostawcy.
• Renderowanie i wideo — gotowe klatki i zakodowane wideo są duże i niemal zawsze pobierane z powrotem do magazynu lub do dostarczenia, co czyni renderowanie jednym z najbardziej wrażliwych na egress obciążeń GPU.
• Pipeliny multi-cloud i hybrydowe — przenoszenie zestawu danych lub modelu między hostem GPU a oddzielnym magazynem obiektów, bazą wektorową lub warstwą serwującą przekracza granicę sieci przy każdym transferze, a każde takie przekroczenie może być mierzone.
• Serwowanie modeli rzeczywistym użytkownikom — jeśli sam serwer GPU odpowiada na zapytania API, każda odpowiedź tokenem lub obrazem przesyłana do klienta jest egress.

Zero egress usuwa część rachunku, która rośnie wraz z faktycznym użyciem wyników obliczeń. Dla eksperymentów jest to niemal niezauważalne; dla produkcyjnych pipeline’ów przesyłających gigabajty na godzinę może to być różnica między dwoma dostawcami o identycznych stawkach godzinowych GPU.

Drobny druk za “brakiem opłat za egress”

Nie każde twierdzenie o “darmowym egress” obejmuje to samo, a gwiazdki to miejsce, gdzie kupujący są zaskakiwani. Porównując powyższe wpisy, sprawdź dokładnie, co dany dostawca ma na myśli:

• Naprawdę niemierzone publiczne egress — każde pobranie do otwartego internetu jest darmowe, bez żadnej opłaty za GB. To najsilniejsza forma i najbardziej przydatna do produkcyjnego serwowania.
• Tylko darmowy egress wewnętrzny — transfer jest darmowy, o ile pozostaje w obrębie własnego regionu lub szkieletu dostawcy, ale wyjście do publicznego internetu lub innej chmury jest nadal płatne. Przydatne tylko, jeśli magazyn i obliczenia są u tego samego dostawcy.
• Hojny darmowy limit, potem pomiar — stała liczba darmowych gigabajtów lub terabajtów miesięcznie, po przekroczeniu której obowiązują normalne stawki egress. Dobre dla małych zadań, pułapka dla dużych.
• Ograniczony przepustowością “darmowy” — brak opłaty za GB, ale prędkość portu jest ograniczona, więc duże transfery są wolne zamiast drogie. Płacisz czasem zegarowym zamiast pieniędzmi.
• Darmowy egress, ale osobno egress ze storage — pobieranie z dołączonego bloku storage może być darmowe, podczas gdy pobieranie z oddzielnego magazynu obiektów już nie. Granica jest tym, co jest rozliczane.

Istnieje prawdziwy kompromis do rozważenia. Dostawca oferujący darmowy egress może mieć nieco wyższą godzinową stawkę GPU, ponieważ koszt przepustowości musi gdzieś się pojawić. Dla obciążeń z niskim egress — długie treningi z zachowaniem punktów kontrolnych lub praca interaktywna w notebooku — niższa stawka godzinowa z mierzoną egress, której nigdy nie wywołujesz, może być tańsza łącznie. Właściwy wybór zależy całkowicie od stosunku wyjścia do obliczeń.

Co sprawdzić przed podjęciem decyzji

• Czy darmowy egress dotyczy ruchu do publicznego internetu czy tylko transferu wewnątrz dostawcy.
• Czy istnieje miesięczny limit darmowego transferu i jaka jest stawka za GB po jego przekroczeniu.
• Limit przepustowości/portu, ponieważ “darmowy, ale wolny” nadal kosztuje Cię godziny GPU podczas przesyłu danych.
• Czy pobieranie ze storage (odczyty z magazynu obiektów, eksport snapshotów) jest liczone osobno od egress sieciowego.
• Jak polityka współgra z instancjami spot lub przerywanymi — może być konieczne szybkie ewakuowanie danych, gdy węzeł zostanie odebrany, a mierzone egress na czas jest uciążliwe.

Jak czytać powyższe porównanie egress

Oszacuj swój egress przed przeczytaniem tabeli: mniej więcej ile gigabajtów opuszcza platformę na jedno uruchomienie, pomnożone przez liczbę uruchomień w miesiącu. Połącz to z godzinową stawką GPU podaną powyżej. Host z zerowym egress i nieco wyższą ceną godzinową często wygrywa w produkcyjnym serwowaniu, batch inference i renderowaniu, gdzie objętość wyjściowa jest duża i przewidywalna. Dla pracy z dużym treningiem i małym wyjściem najpierw rozważ niższą stawkę godzinową i traktuj egress jako czynnik drugorzędny. Ponieważ polityki przepustowości i ceny się zmieniają, korzystaj z powyższego porównania na żywo, aby poznać aktualne stawki godzinowe i potwierdź warunki egress u każdego dostawcy względem wymienionych punktów.

Najczęściej zadawane pytania

Czy “zero egress” oznacza, że cały mój transfer danych jest darmowy?

Nie zawsze. Zazwyczaj oznacza to, że ruch wychodzący nie jest obciążany opłatą za gigabajt, ale niektórzy dostawcy ograniczają to do ruchu pozostającego w ich sieci lub oferują tylko stały miesięczny limit przed rozpoczęciem pomiaru. Transfer przychodzący (ingress) jest niemal powszechnie darmowy, więc warto zweryfikować właśnie część dotyczącą egress.

Jak bardzo opłaty za egress mogą realnie zwiększyć rachunek za GPU?

To zależy całkowicie od objętości wyjściowej. Kilka eksperymentalnych notebooków generuje znikomy egress, więc opłata jest pomijalna. Produkcyjny pipeline eksportujący duże punkty kontrolne, renderujący wideo lub serwujący odpowiedzi modelu użytkownikom może przesyłać terabajty miesięcznie, gdzie mierzone egress może stanowić znaczącą część całkowitego kosztu — czasem zbliżającą się do kosztu obliczeń.

Czy zawsze powinienem wybierać dostawcę z zerowym egress?

Nie. Darmowy egress czasem wiąże się z nieco wyższą stawką godzinową GPU. Jeśli Twoje obciążenie trzyma dane na miejscu — długie treningi, praca interaktywna — możesz zapłacić mniej ogółem, wybierając tańszą stawkę godzinową i mierzone egress, którego rzadko używasz. Dopasuj politykę do stosunku wyjścia do obliczeń, zamiast traktować zero egress jako automatycznie lepsze.

Czy darmowy egress bywa ograniczany prędkością?

Tak. Niektórzy dostawcy oferują brak opłaty za GB, ale ograniczają prędkość portu, więc duży eksport jest wolny zamiast kosztowny. Ponieważ zegar GPU może działać podczas przesyłu danych, “darmowy, ale wolny” nadal ma realny koszt w godzinach GPU. Zawsze sprawdzaj limit przepustowości razem z cennikiem.