Dostawcy GPU w chmurze bez opłat za transfer wychodzący

Co faktycznie oznacza “zero opłat za egress”, gdy wynajmujesz GPU w chmurze

Egress to dane opuszczające sieć dostawcy — bajty, które pobierasz z chmury na swój laptop, do innej chmury lub do użytkowników końcowych. Wiele platform infrastrukturalnych mierzy ten ruch i nalicza opłaty za gigabajt, podczas gdy za ingress (dane wpływające) pobiera niewiele lub nic. Host GPU z obietnicą “zero egress” lub “0 $ za egress” gwarantuje, że pobieranie danych nie kosztuje nic ponad wynajęty już czas obliczeniowy. Na platformie GPU jest to istotna różnica, ponieważ zadania AI i renderingu generują wyjątkowo duży ruch danych na wyjściu: checkpointy modeli, eksportowane wagi, renderowane klatki, wyniki batch inference i syntetyczne zestawy danych muszą gdzieś trafić po zakończeniu pracy GPU.

Powodem, dla którego egress jest wyceniany osobno, jest fakt, że przepustowość do publicznego internetu stanowi realny koszt dla dostawców. Platformy reklamujące brak opłat za egress albo wliczają ten koszt w godzinową stawkę GPU, działają w sieci, gdzie tranzyt jest tani, albo ograniczają darmowy transfer do ruchu pozostającego w ich własnym szkieletowym łączu. Zrozumienie, która z tych opcji dotyczy każdego wpisu w powyższym porównaniu, to klucz do całej gry.

Dlaczego egress ma znaczenie w rzeczywistych przepływach pracy GPU

Godzinowa cena GPU to tylko jedna pozycja na fakturze. W przypadku zadań intensywnych pod względem danych transfer może cicho stać się drugą fakturą — i w przeciwieństwie do obliczeń, trudno go przewidzieć z wyprzedzeniem. Opłaty za egress najbardziej uderzają w następujących scenariuszach:

• Trening eksportujący duże checkpointy — modele z wieloma miliardami parametrów generują checkpointy mierzone w dziesiątkach lub setkach gigabajtów. Jeśli często wykonujesz snapshoty i kopiujesz je poza platformę, egress z pomiarem może dorównać wydatkom na GPU.
• Wysokoprzepustowy batch inference — generowanie embeddingów, podpisów lub przetworzonych mediów dla milionów elementów oznacza, że objętość wyjściowa może przewyższać wejściową. Ten output to egress w momencie opuszczenia sieci dostawcy.
• Rendering i wideo — gotowe klatki i zakodowane wideo są duże i niemal zawsze pobierane z powrotem do magazynu lub dystrybucji, co czyni rendering jednym z najbardziej wrażliwych na egress zadań GPU.
• Rurociągi multi-cloud i hybrydowe — przenoszenie zestawu danych lub modelu między hostem GPU a oddzielnym magazynem obiektów, bazą wektorową lub warstwą serwującą przekracza granicę sieci za każdym razem, a każde takie przekroczenie może być mierzone.
• Serwowanie modeli rzeczywistym użytkownikom — jeśli sam serwer GPU odpowiada na zapytania API, każdy token odpowiedzi lub obraz przesyłany do klienta to egress.

Zero egress usuwa część rachunku, która rośnie wraz z tym, jak bardzo faktycznie używasz wyników swoich obliczeń. Dla eksperymentów jest to niemal niezauważalne; dla produkcyjnych rurociągów przesyłających gigabajty na godzinę może to być różnica między dwoma dostawcami, których godzinowe stawki GPU wyglądały identycznie.

Drobny druk za “brakiem opłat za egress”

Nie każde twierdzenie o “darmowym egress” obejmuje to samo, a gwiazdki to miejsce, gdzie kupujący mogą się zdziwić. Porównując powyższe wpisy, sprawdź dokładnie, co dany dostawca ma na myśli:

• Naprawdę niemierzony publiczny egress — każde pobranie do otwartego internetu jest darmowe, bez żadnej opłaty za gigabajt. To najsilniejsza forma i najbardziej przydatna do produkcyjnego serwowania.
• Darmowy egress wewnętrzny tylko — transfer jest darmowy, o ile pozostaje w obrębie własnego regionu lub szkieletu dostawcy, ale wyjście do internetu publicznego lub innej chmury jest nadal płatne. Przydatne tylko, jeśli magazyn i obliczenia są u tego samego dostawcy.
• Hojny darmowy limit, potem pomiar — stała liczba darmowych gigabajtów lub terabajtów miesięcznie, po przekroczeniu której obowiązują normalne stawki za egress. Dobre dla małych zadań, pułapka dla dużych.
• Darmowy egress z ograniczeniem przepustowości — brak opłaty za gigabajt, ale prędkość portu jest ograniczona, więc duże transfery są wolne, a nie drogie. Płacisz czasem zegarowym zamiast pieniędzmi.
• Egress darmowy, ale egress ze storage osobno — pobieranie z dołączonego bloku storage może być darmowe, podczas gdy pobieranie z oddzielnego magazynu obiektów nie. Granica jest tym, co jest rozliczane.

Istnieje prawdziwy kompromis do rozważenia. Dostawca oferujący darmowy egress może mieć nieco wyższą godzinową stawkę GPU, ponieważ koszt przepustowości musi gdzieś się znaleźć. Dla zadań z niskim egress — długie treningi z zachowaniem checkpointów lub praca interaktywna w notebooku — tańsza stawka godzinowa z mierzoną egress, której nigdy nie wywołujesz, może być tańsza w sumie. Właściwy wybór zależy całkowicie od stosunku wyjścia do obliczeń.

Co sprawdzić przed podjęciem decyzji

• Czy darmowy egress dotyczy ruchu do publicznego internetu czy tylko transferu wewnątrz dostawcy.
• Czy istnieje miesięczny limit darmowego transferu oraz jaka jest stawka za GB po jego przekroczeniu.
• Jakie są limity portu/przepustowości, ponieważ “darmowy, ale wolny” nadal kosztuje Cię godziny GPU podczas przesyłu danych.
• Czy pobieranie ze storage (odczyty z magazynu obiektów, eksport snapshotów) jest liczone osobno od egress sieciowego.
• Jak polityka współgra z instancjami spot lub przerywanymi — może być konieczne szybkie ewakuowanie danych, gdy węzeł zostanie odebrany, a mierzone egress na czas jest bolesne.

Jak czytać powyższe porównanie egress

Oszacuj swój egress przed przeczytaniem tabeli: mniej więcej ile gigabajtów opuszcza platformę na jedno uruchomienie, pomnożone przez liczbę uruchomień w miesiącu. Połącz to z godzinową stawką GPU podaną powyżej. Host z zerowym egress i nieco wyższą ceną godzinową często wygrywa w produkcyjnym serwowaniu, batch inference i renderingu, gdzie objętość wyjściowa jest duża i przewidywalna. Dla pracy z dużym treningiem i małym outputem najpierw rozważ niższą stawkę godzinową i traktuj egress jako czynnik drugorzędny. Ponieważ polityki przepustowości i ceny się zmieniają, korzystaj z powyższego porównania na żywo dla aktualnych stawek godzinowych i potwierdź warunki egress u każdego dostawcy względem wymienionych punktów.

Najczęściej zadawane pytania

Czy “zero egress” oznacza, że cały mój transfer danych jest darmowy?

Nie zawsze. Zazwyczaj oznacza to, że ruch wychodzący nie jest obciążany opłatą za gigabajt, ale niektórzy dostawcy ograniczają to do ruchu pozostającego w ich własnej sieci lub oferują tylko stały miesięczny limit przed rozpoczęciem pomiaru. Transfer przychodzący (ingress) jest niemal powszechnie darmowy wszędzie, więc to twierdzenie o egress jest warte weryfikacji.

Jak bardzo opłaty za egress mogą realnie zwiększyć rachunek za GPU?

Zależy całkowicie od objętości wyjściowej. Kilka eksperymentalnych notebooków generuje znikomy egress, więc opłata jest błędem zaokrąglenia. Produkcyjny rurociąg eksportujący duże checkpointy, renderujący wideo lub serwujący odpowiedzi modelu użytkownikom może przesyłać terabajty miesięcznie, gdzie mierzone opłaty za egress mogą stanowić znaczną część całkowitych kosztów — czasem zbliżając się do kosztów obliczeń.

Czy zawsze powinienem wybierać dostawcę z zerowym egress?

Nie. Darmowy egress czasem wiąże się z nieco wyższą stawką godzinową GPU. Jeśli Twoje zadania pozostawiają dane na miejscu — długie treningi, praca interaktywna — możesz zapłacić mniej ogółem za niższą stawkę godzinową i mierzoną egress, którą rzadko wywołujesz. Dopasuj politykę do swojego stosunku wyjścia do obliczeń, zamiast traktować zero egress jako automatycznie lepsze.

Czy darmowy egress bywa ograniczany?

Tak. Niektórzy dostawcy oferują brak opłaty za gigabajt, ale ograniczają prędkość portu, więc duży eksport jest wolny, a nie kosztowny. Ponieważ zegar GPU może działać podczas przesyłu danych, “darmowy, ale wolny” nadal ma realny koszt w godzinach GPU. Zawsze sprawdzaj limit przepustowości wraz z cennikiem.