Dostawcy chmurowych GPU bez opłat za transfer danych wychodzących

Co faktycznie oznacza “zero opłat za egress”, gdy wynajmujesz GPU w chmurze

Egress to dane opuszczające sieć dostawcy — bajty, które pobierasz z chmury na swój laptop, do innej chmury lub do użytkowników końcowych. Wiele platform infrastrukturalnych mierzy ten ruch i nalicza opłaty za gigabajt, podczas gdy za ingress (dane wpływające) pobiera niewiele lub nic. Host GPU z obietnicą “zero egress” lub “$0 egress” gwarantuje, że pobieranie danych nie kosztuje nic ponad wynajęty już czas obliczeniowy. Na platformie GPU jest to istotna różnica, ponieważ zadania AI i renderowania generują wyjątkowo duży ruch danych wychodzących: punkty kontrolne modeli, wyeksportowane wagi, wyrenderowane klatki, wyniki batch inference oraz syntetyczne zestawy danych muszą gdzieś trafić po zakończeniu pracy GPU.

Powodem, dla którego egress jest wyceniany osobno, jest to, że przepustowość do publicznego internetu stanowi realny koszt dla dostawców. Platformy reklamujące brak opłat za egress albo wliczają ten koszt w godzinową stawkę GPU, działają w sieci, gdzie tranzyt jest tani, albo ograniczają darmowy transfer do ruchu pozostającego w ich własnym szkieletowym łączu. Rozpoznanie, która z tych opcji dotyczy każdego wpisu w powyższym porównaniu, to cała sztuka.

Dlaczego egress ma znaczenie dla rzeczywistych przepływów pracy GPU

Godzinowa cena GPU to tylko jedna pozycja na fakturze. W przypadku zadań intensywnych pod względem danych transfer może cicho stać się drugą fakturą — i w przeciwieństwie do obliczeń, trudno go przewidzieć z góry. Opłaty za egress najbardziej dotykają w następujących wzorcach:

• Trening eksportujący duże punkty kontrolne — modele z wieloma miliardami parametrów generują punkty kontrolne mierzone w dziesiątkach lub setkach gigabajtów. Jeśli często wykonujesz snapshoty i kopiujesz każdy poza platformę, egress mierzony może dorównać kosztom GPU.
• Batch inference o dużej przepustowości — generowanie embeddingów, podpisów lub przetworzonych mediów dla milionów elementów oznacza, że objętość wyjściowa może przewyższać wejściową. Ten output jest egress w momencie opuszczenia sieci dostawcy.
• Renderowanie i wideo — gotowe klatki i zakodowane wideo są duże i niemal zawsze pobierane z powrotem do magazynu lub dystrybucji, co czyni renderowanie jednym z najbardziej wrażliwych na egress zadań GPU.
• Rurociągi multi-cloud i hybrydowe — przesyłanie zestawu danych lub modelu między hostem GPU a oddzielnym magazynem obiektów, bazą wektorową lub warstwą serwującą przekracza granicę sieci za każdym razem, a każde takie przekroczenie może być mierzone.
• Serwowanie modeli do rzeczywistych użytkowników — jeśli sam serwer GPU odpowiada na zapytania API, każda odpowiedź tokenem lub obrazem przesyłanym do klienta jest egress.

Zero egress usuwa część rachunku, która rośnie wraz z tym, jak bardzo faktycznie używasz wyników swoich obliczeń. Dla eksperymentów jest to niemal niezauważalne; dla produkcyjnych rurociągów przesyłających gigabajty na godzinę może to być różnica między dwoma dostawcami, których godzinowe stawki GPU wyglądały identycznie.

Drobny druk za “brakiem opłat za egress”

Nie każde twierdzenie o “darmowym egress” obejmuje to samo, a gwiazdki to miejsce, gdzie kupujący są zaskakiwani. Porównując powyższe wpisy, sprawdź dokładnie, co dany dostawca ma na myśli:

• Naprawdę niemierzalny publiczny egress — każde pobranie do otwartego internetu jest darmowe, bez opłaty za gigabajt. To najsilniejsza forma i najbardziej przydatna dla produkcyjnego serwowania.
• Tylko darmowy egress wewnętrzny — transfer jest darmowy, jeśli pozostaje w obrębie własnego regionu lub szkieletu dostawcy, ale wyjście do internetu publicznego lub innej chmury jest nadal płatne. Przydatne tylko, gdy magazyn i obliczenia są u tego samego dostawcy.
• Hojny darmowy limit, potem pomiar — stała liczba darmowych gigabajtów lub terabajtów miesięcznie, po przekroczeniu których obowiązują normalne stawki za egress. Dobre dla małych zadań, pułapka dla dużych wolumenów.
• “Darmowy” z ograniczeniem przepustowości — brak opłaty za gigabajt, ale prędkość portu jest ograniczona, więc duże transfery są wolne, a nie drogie. Płacisz czasem zegarowym zamiast pieniędzmi.
• Egress darmowy, ale egress magazynu osobno — pobieranie z dołączonego magazynu blokowego może być darmowe, podczas gdy pobieranie z oddzielnego magazynu obiektów nie. Granicą jest to, co jest rozliczane.

Istnieje prawdziwy kompromis do rozważenia. Dostawca, który wlicza darmowy egress, może mieć nieco wyższą godzinową stawkę GPU, ponieważ koszt przepustowości musi gdzieś się znaleźć. Dla zadań o niskim egress — długie treningi utrzymujące punkty kontrolne lub praca interaktywna w notebooku — niższa stawka godzinowa z mierzonym egress, którego nigdy nie wywołujesz, może być tańsza ogólnie. Właściwy wybór zależy całkowicie od twojego stosunku danych wyjściowych do obliczeń.

Co sprawdzić przed podjęciem decyzji

• Czy darmowy egress dotyczy ruchu do publicznego internetu czy tylko transferu wewnątrz dostawcy.
• Czy istnieje miesięczny limit darmowego transferu i jaka jest stawka za gigabajt po jego przekroczeniu.
• Limit portu/przepustowości, ponieważ “darmowy, ale wolny” nadal kosztuje cię godziny GPU podczas przesyłu danych.
• Czy pobieranie z magazynu (odczyty z magazynu obiektów, eksport snapshotów) jest liczone oddzielnie od egress sieciowego.
• Jak polityka współgra z instancjami spot lub przerywalnymi — może być konieczne szybkie ewakuowanie danych, gdy węzeł zostanie zwolniony, a mierzone opłaty za egress w takim terminie są uciążliwe.

Jak czytać powyższe porównanie egress

Oszacuj swój egress przed przeczytaniem tabeli: mniej więcej ile gigabajtów opuszcza platformę na jedno uruchomienie, pomnożone przez liczbę uruchomień w miesiącu. Połącz to z godzinową stawką GPU podaną powyżej. Host z zerowym egress i nieco wyższą ceną godzinową często wygrywa w produkcyjnym serwowaniu, batch inference i renderowaniu, gdzie objętość wyjściowa jest wysoka i przewidywalna. Dla pracy intensywnej treningowo, ale o niskim wyjściu, najpierw rozważ niższą stawkę godzinową i traktuj egress jako czynnik drugorzędny. Ponieważ polityki przepustowości i ceny się zmieniają, korzystaj z aktualnego porównania powyżej dla bieżących stawek godzinowych i potwierdź warunki egress u każdego dostawcy zgodnie z punktami wymienionymi tutaj.

Najczęściej zadawane pytania

Czy “zero egress” oznacza, że cały mój transfer danych jest darmowy?

Nie zawsze. Zazwyczaj oznacza to, że ruch wychodzący nie jest obciążany opłatą za gigabajt, ale niektórzy dostawcy ograniczają to do ruchu pozostającego w ich własnej sieci lub oferują tylko stały miesięczny limit przed rozpoczęciem pomiaru. Transfer przychodzący (ingress) jest niemal powszechnie darmowy, więc to właśnie twierdzenie o egress warto zweryfikować.

Jak bardzo opłaty za egress mogą realnie zwiększyć rachunek za GPU?

To zależy całkowicie od objętości wyjściowej. Kilka eksperymentalnych notebooków generuje znikomy egress, więc opłata jest błędem zaokrąglenia. Produkcyjny rurociąg eksportujący duże punkty kontrolne, renderujący wideo lub serwujący odpowiedzi modelu użytkownikom może przesyłać terabajty miesięcznie, w którym to momencie mierzone opłaty za egress mogą stanowić znaczną część całości — czasem zbliżającą się do kosztów obliczeń.

Czy zawsze powinienem wybierać dostawcę z zerowym egress?

Nie. Darmowy egress czasem wiąże się z nieco wyższą godzinową stawką GPU. Jeśli twoje zadania utrzymują dane na miejscu — długie treningi, praca interaktywna — możesz zapłacić mniej ogólnie, wybierając tańszą stawkę godzinową i mierzone egress, którego rzadko używasz. Dopasuj politykę do swojego stosunku danych wyjściowych do obliczeń, zamiast traktować zero egress jako automatycznie lepsze.

Czy darmowy egress jest czasem ograniczany?

Tak. Niektórzy dostawcy oferują brak opłaty za gigabajt, ale ograniczają prędkość portu, więc duży eksport jest wolny, a nie kosztowny. Ponieważ zegar GPU może nadal działać podczas przesyłu danych, “darmowy, ale wolny” ma rzeczywisty koszt w godzinach GPU. Zawsze sprawdzaj limit przepustowości razem z cenami.