Dostawcy chmurowych GPU bez opłat za transfer wychodzący

Co faktycznie oznacza “zero opłat za egress”, gdy wynajmujesz GPU w chmurze

Egress to dane opuszczające sieć dostawcy — bajty, które pobierasz z chmury na swój laptop, do innej chmury lub do użytkowników końcowych. Wiele platform infrastrukturalnych mierzy ten ruch i nalicza opłaty za gigabajt, podczas gdy za ingress (dane wpływające) pobiera niewiele lub nic. Host GPU z “zerowym egress” lub “$0 egress” obiecuje, że pobieranie danych nie kosztuje nic ponad wynajęty już czas obliczeniowy. Na platformie GPU jest to istotna różnica, ponieważ obciążenia AI i renderowania są wyjątkowo intensywne pod względem danych wychodzących: checkpointy modeli, eksportowane wagi, renderowane klatki, wyniki batch inference oraz syntetyczne zestawy danych muszą gdzieś trafić po zakończeniu pracy GPU.

Powodem, dla którego egress jest wyceniany osobno, jest to, że przepustowość do publicznego internetu stanowi realny koszt dla dostawców. Platformy reklamujące brak opłat za egress albo wliczają ten koszt w godzinową stawkę GPU, działają w sieci, gdzie tranzyt jest tani, albo ograniczają darmowy transfer do ruchu pozostającego w ich własnym szkieletowym łączu. Odczytanie, która z tych opcji dotyczy każdego wpisu w powyższym porównaniu, to cała sztuka.

Dlaczego egress ma znaczenie dla rzeczywistych przepływów pracy GPU

Godzinowa cena GPU to tylko jedna pozycja na fakturze. W przypadku zadań intensywnych pod względem danych, transfer może cicho stać się drugą fakturą — i w przeciwieństwie do obliczeń, jest trudny do przewidzenia z góry. Ceny egress najbardziej dotykają w następujących wzorcach:

• Trening eksportujący duże checkpointy — modele z miliardami parametrów generują checkpointy mierzone w dziesiątkach lub setkach gigabajtów. Jeśli często robisz snapshoty i kopiujesz każdy poza platformę, mierzone egress może dorównać kosztom GPU.
• Batch inference o dużej przepustowości — generowanie embeddingów, podpisów lub przetworzonych mediów dla milionów elementów oznacza, że objętość wyjściowa może przewyższać wejściową. To wyjście jest egress w momencie opuszczenia dostawcy.
• Renderowanie i wideo — gotowe klatki i zakodowane wideo są duże i niemal zawsze pobierane z powrotem do magazynu lub dostawy, co czyni renderowanie jednym z najbardziej wrażliwych na egress obciążeń GPU.
• Wielochmurowe i hybrydowe pipeline’y — przenoszenie zestawu danych lub modelu między hostem GPU a oddzielnym magazynem obiektów, bazą wektorową lub warstwą serwującą przekracza granicę sieci za każdym razem, a każde takie przekroczenie może być mierzone.
• Serwowanie modeli rzeczywistym użytkownikom — jeśli sam serwer GPU odpowiada na zapytania API, każda odpowiedź, token lub obraz przesyłany do klienta, to egress.

Zero egress usuwa część rachunku, która rośnie wraz z tym, jak bardzo faktycznie używasz wyników swoich obliczeń. Dla eksperymentów jest to niemal niezauważalne; dla produkcyjnych pipeline’ów przesyłających gigabajty na godzinę może to być różnica między dwoma dostawcami, których godzinowe stawki GPU wyglądały identycznie.

Drobny druk za “brakiem opłat za egress”

Nie każde twierdzenie o “darmowym egress” obejmuje to samo, a gwiazdki to miejsce, gdzie kupujący mogą się zdziwić. Porównując powyższe wpisy, sprawdź dokładnie, co dany dostawca ma na myśli:

• Naprawdę niemierzone publiczne egress — każde pobranie do otwartego internetu jest darmowe, bez żadnej opłaty za gigabajt. To najsilniejsza forma i najbardziej przydatna do produkcyjnego serwowania.
• Tylko darmowy egress wewnętrzny — transfer jest darmowy, o ile pozostaje w obrębie własnego regionu lub szkieletu dostawcy, ale wyjście do internetu publicznego lub innej chmury jest nadal płatne. Przydatne tylko, jeśli magazyn i obliczenia są u tego samego dostawcy.
• Hojny darmowy limit, potem mierzone — stała liczba darmowych gigabajtów lub terabajtów miesięcznie, po przekroczeniu których obowiązują normalne stawki egress. Dobre dla małych zadań, pułapka dla dużych.
• Ograniczony przepustowością “darmowy” — brak opłaty za gigabajt, ale prędkość portu jest ograniczona, więc duże transfery są wolne, a nie drogie. Płacisz czasem zegarowym zamiast pieniędzmi.
• Egress darmowy, ale egress ze storage osobno — pobieranie z dołączonego bloku storage może być darmowe, podczas gdy pobieranie z oddzielnego magazynu obiektów już nie. Granica jest tym, co jest rozliczane.

Istnieje prawdziwy kompromis do rozważenia. Dostawca oferujący darmowy egress może mieć nieco wyższą godzinową stawkę GPU, ponieważ koszt przepustowości musi gdzieś się pojawić. Dla obciążeń z niskim egress — długie treningi z zachowaniem checkpointów lub praca interaktywna w notebooku — opłacalne może być płacenie niższej stawki godzinowej z mierzoną egress, której nigdy nie wywołujesz. Właściwy wybór zależy całkowicie od stosunku wyjścia do obliczeń.

Co sprawdzić przed podjęciem decyzji

• Czy darmowy egress dotyczy ruchu do publicznego internetu czy tylko transferu wewnątrz dostawcy.
• Czy istnieje miesięczny limit darmowego transferu oraz jaka jest stawka za GB po jego przekroczeniu.
• Limit portu/przepustowości, ponieważ “darmowy, ale wolny” nadal kosztuje Cię godziny GPU podczas przesyłu danych.
• Czy pobieranie ze storage (odczyty z magazynu obiektów, eksport snapshotów) jest liczone osobno od egress sieciowego.
• Jak polityka współgra z instancjami spot lub przerywanymi — może być konieczne szybkie ewakuowanie danych, gdy węzeł zostanie odebrany, a mierzone egress na czas jest uciążliwe.

Jak czytać powyższe porównanie egress

Oszacuj swój egress przed przeczytaniem tabeli: mniej więcej ile gigabajtów opuszcza platformę na jedno uruchomienie, pomnożone przez liczbę uruchomień miesięcznie. Połącz to z godzinową stawką GPU podaną powyżej. Host z zerowym egress i nieco wyższą ceną godzinową często wygrywa w produkcyjnym serwowaniu, batch inference i renderowaniu, gdzie objętość wyjściowa jest wysoka i przewidywalna. Dla pracy z dużym treningiem i małym wyjściem najpierw rozważ niższą stawkę godzinową i traktuj egress jako czynnik drugorzędny. Ponieważ polityki i ceny przepustowości zmieniają się, korzystaj z powyższego porównania na żywo dla aktualnych stawek godzinowych i potwierdzaj warunki egress u każdego dostawcy zgodnie z wymienionymi punktami.

Najczęściej zadawane pytania

Czy “zero egress” oznacza, że cały mój transfer danych jest darmowy?

Nie zawsze. Zazwyczaj oznacza to, że ruch wychodzący nie jest obciążany opłatą za gigabajt, ale niektórzy dostawcy ograniczają to do ruchu pozostającego w ich własnej sieci lub oferują tylko stały miesięczny limit przed rozpoczęciem pomiaru. Transfer przychodzący (ingress) jest niemal powszechnie darmowy wszędzie, więc warto zweryfikować właśnie twierdzenie o egress.

Jak bardzo opłaty za egress mogą realnie zwiększyć rachunek za GPU?

To całkowicie zależy od objętości wyjściowej. Kilka eksperymentalnych notebooków generuje znikomy egress, więc opłata to błąd zaokrąglenia. Produkcyjny pipeline eksportujący duże checkpointy, renderujący wideo lub serwujący odpowiedzi modelu użytkownikom może przesyłać terabajty miesięcznie, w którym to momencie mierzone egress może stanowić znaczącą część całkowitych kosztów — czasem zbliżającą się do kosztów obliczeń.

Czy zawsze powinienem wybierać dostawcę z zerowym egress?

Nie. Darmowy egress czasem wiąże się z nieco wyższą godzinową stawką GPU. Jeśli Twoje obciążenie utrzymuje dane na miejscu — długie treningi, praca interaktywna — możesz zapłacić mniej ogółem, wybierając tańszą stawkę godzinową i mierzone egress, które rzadko wywołujesz. Dopasuj politykę do stosunku wyjścia do obliczeń, zamiast traktować zero egress jako automatycznie lepsze.

Czy darmowy egress bywa ograniczany prędkością?

Tak. Niektórzy dostawcy oferują brak opłaty za gigabajt, ale ograniczają prędkość portu, więc duży eksport jest wolny, a nie drogi. Ponieważ zegar GPU może działać podczas przesyłu danych, “darmowy, ale wolny” nadal ma realny koszt w godzinach GPU. Zawsze sprawdzaj limit przepustowości razem z cenami.