Dostawcy chmurowych GPU bez opłat za transfer danych wychodzących

Co tak naprawdę oznacza “zero opłat za transfer danych” przy wynajmie GPU w chmurze

Transfer wychodzący to dane opuszczające sieć dostawcy — bajty, które pobierasz z chmury na swój laptop, do innej chmury lub do użytkowników końcowych. Wiele platform infrastrukturalnych mierzy ten ruch i nalicza opłaty za gigabajt, podczas gdy za transfer przychodzący (dane wpływające) pobiera się niewiele lub nic. Host GPU z “zerową opłatą za transfer wychodzący” lub “$0 za transfer wychodzący” obiecuje, że pobieranie danych nie kosztuje nic ponad wynajęty już czas obliczeniowy. Na platformie GPU jest to istotna różnica, ponieważ obciążenia AI i renderowania są wyjątkowo intensywne pod względem danych wychodzących: punkty kontrolne modeli, wyeksportowane wagi, wyrenderowane klatki, wyniki wsadowego wnioskowania i syntetyczne zestawy danych muszą gdzieś trafić po zakończeniu pracy GPU.

Powodem, dla którego transfer wychodzący jest wyceniany osobno, jest to, że przepustowość do publicznego internetu stanowi rzeczywisty koszt dla dostawców. Platformy reklamujące brak opłat za transfer wychodzący albo wliczają ten koszt w godzinową stawkę GPU, działają w sieci, gdzie tranzyt jest tani, albo ograniczają darmowy transfer do ruchu pozostającego w ich własnym szkieletowym łączu. Zrozumienie, która z tych opcji dotyczy każdego wpisu w powyższym porównaniu, to cały klucz do sprawy.

Dlaczego transfer wychodzący ma znaczenie w rzeczywistych przepływach pracy GPU

Godzinowa cena GPU to tylko jedna pozycja na fakturze. W przypadku zadań intensywnych danych transfer może cicho stać się drugą fakturą — i w przeciwieństwie do obliczeń, trudno go przewidzieć z góry. Ceny transferu wychodzącego najbardziej uderzają w następujących wzorcach:

• Trening eksportujący duże punkty kontrolne — modele z wieloma miliardami parametrów generują punkty kontrolne mierzone w dziesiątkach lub setkach gigabajtów. Jeśli często wykonujesz snapshoty i kopiujesz każdy poza platformę, opłaty za transfer wychodzący mogą dorównać kosztom GPU.
• Wsadowe wnioskowanie o dużej przepustowości — generowanie osadzeń, podpisów lub przetworzonych mediów dla milionów elementów oznacza, że objętość wyjściowa może znacznie przewyższać wejściową. Ten output to transfer wychodzący w momencie opuszczenia sieci dostawcy.
• Renderowanie i wideo — gotowe klatki i zakodowane wideo są duże i prawie zawsze pobierane z powrotem do magazynu lub dostarczane, co czyni renderowanie jednym z najbardziej wrażliwych na transfer wychodzący obciążeń GPU.
• Wielochmurowe i hybrydowe pipeline’y — przenoszenie zestawu danych lub modelu między hostem GPU a oddzielnym magazynem obiektów, bazą wektorową lub warstwą serwującą przekracza granicę sieci za każdym razem, a każde takie przekroczenie może być mierzone.
• Serwowanie modeli rzeczywistym użytkownikom — jeśli sam serwer GPU odpowiada na żądania API, każda odpowiedź tokenem lub obrazem przesyłanym do klienta to transfer wychodzący.

Zero opłat za transfer wychodzący usuwa część rachunku, która rośnie wraz z tym, jak bardzo faktycznie używasz wyników swoich obliczeń. Dla eksperymentów jest to niemal niezauważalne; dla produkcyjnych pipeline’ów przesyłających gigabajty na godzinę może to być różnica między dwoma dostawcami, których godzinowe stawki GPU wydawały się identyczne.

Drobny druk za “brakiem opłat za transfer wychodzący”

Nie każde twierdzenie o “darmowym transferze wychodzącym” obejmuje to samo, a gwiazdki to miejsce, gdzie kupujący mogą się zdziwić. Porównując powyższe wpisy, sprawdź dokładnie, co dany dostawca ma na myśli:

• Naprawdę niemierzone publiczne transfery wychodzące — każde pobranie do otwartego internetu jest darmowe, bez żadnej opłaty za gigabajt. To najsilniejsza forma i najbardziej przydatna do produkcyjnego serwowania.
• Tylko darmowy transfer wewnętrzny — transfer jest darmowy, jeśli pozostaje w obrębie własnego regionu lub szkieletu dostawcy, ale opuszczenie do internetu publicznego lub innej chmury jest nadal płatne. Przydatne tylko, jeśli magazyn i obliczenia są u tego samego dostawcy.
• Hojny darmowy limit, potem pomiar — stała liczba darmowych gigabajtów lub terabajtów miesięcznie, po przekroczeniu której obowiązują normalne stawki za transfer wychodzący. Dobre dla małych zadań, pułapka dla dużych.
• “Darmowy” z ograniczeniem przepustowości — brak opłaty za gigabajt, ale prędkość portu jest ograniczona, więc duże transfery są wolne, a nie drogie. Płacisz czasem rzeczywistym, a nie pieniędzmi.
• Transfer wychodzący darmowy, ale transfer z magazynu osobno — pobieranie z dołączonego magazynu blokowego może być darmowe, podczas gdy pobieranie z oddzielnego magazynu obiektów nie. Granicą jest to, co jest rozliczane.

Istnieje prawdziwy kompromis do rozważenia. Dostawca oferujący darmowy transfer wychodzący może mieć nieco wyższą godzinową stawkę GPU, ponieważ koszt przepustowości musi gdzieś się znaleźć. Dla obciążeń z małym transferem wychodzącym — długich treningów z zachowaniem punktów kontrolnych lub pracy interaktywnej w notatniku — opłacalne może być płacenie niższej stawki godzinowej z mierzoną transmisją, której nigdy nie wywołujesz. Właściwy wybór zależy całkowicie od stosunku objętości wyjściowej do obliczeń.

Co sprawdzić przed podjęciem decyzji

• Czy darmowy transfer wychodzący dotyczy ruchu do publicznego internetu czy tylko transferu wewnątrz dostawcy.
• Czy istnieje miesięczny limit darmowego transferu oraz jaka jest stawka za gigabajt po jego przekroczeniu.
• Limit portu/przepustowości, ponieważ “darmowy, ale wolny” nadal kosztuje Cię godziny GPU podczas przesyłania danych.
• Czy pobieranie z magazynu (odczyty z magazynu obiektów, eksporty snapshotów) jest liczone osobno od transferu sieciowego.
• Jak polityka współgra z instancjami spot lub przerywalnymi — może być konieczne szybkie ewakuowanie danych po odzyskaniu węzła, a mierzone opłaty za transfer wychodzący na czas są uciążliwe.

Jak czytać powyższe porównanie dotyczące transferu wychodzącego

Oszacuj swój transfer wychodzący zanim przeczytasz tabelę: w przybliżeniu ile gigabajtów opuszcza platformę na jedno uruchomienie, pomnożone przez liczbę uruchomień w miesiącu. Połącz to z godzinową stawką GPU podaną powyżej. Host z zerowym transferem wychodzącym i nieco wyższą ceną godzinową często wygrywa w produkcyjnym serwowaniu, wsadowym wnioskowaniu i renderowaniu, gdzie objętość wyjściowa jest wysoka i przewidywalna. Dla pracy z dużym treningiem i małą objętością wyjściową najpierw rozważ niższą stawkę godzinową i traktuj transfer wychodzący jako czynnik drugorzędny. Ponieważ polityki przepustowości i ceny się zmieniają, korzystaj z powyższego porównania na żywo, aby poznać aktualne stawki godzinowe i potwierdź warunki transferu wychodzącego u każdego dostawcy zgodnie z wymienionymi punktami.

Najczęściej zadawane pytania

Czy “zero opłat za transfer wychodzący” oznacza, że cały mój transfer danych jest darmowy?

Nie zawsze. Zazwyczaj oznacza to, że ruch wychodzący nie jest obciążany opłatą za gigabajt, ale niektórzy dostawcy ograniczają to do ruchu pozostającego w ich własnej sieci lub oferują tylko stały miesięczny limit przed rozpoczęciem pomiaru. Transfer przychodzący (ingress) jest niemal powszechnie darmowy wszędzie, więc warto zweryfikować właśnie twierdzenie o transferze wychodzącym.

Jak bardzo opłaty za transfer wychodzący mogą realnie zwiększyć rachunek za GPU?

To zależy całkowicie od objętości wyjściowej. Kilka eksperymentalnych notatników generuje znikomy transfer wychodzący, więc opłata jest błędem zaokrąglenia. Produkcyjny pipeline eksportujący duże punkty kontrolne, renderujący wideo lub serwujący odpowiedzi modelu użytkownikom może przesyłać terabajty miesięcznie, wtedy opłaty za transfer wychodzący mogą stanowić znaczną część całkowitych kosztów — czasem zbliżającą się do kosztów obliczeń.

Czy zawsze powinienem wybierać dostawcę z zerową opłatą za transfer wychodzący?

Nie. Darmowy transfer wychodzący czasem wiąże się z nieco wyższą godzinową stawką GPU. Jeśli Twoje obciążenie utrzymuje dane na miejscu — długie treningi, praca interaktywna — możesz zapłacić mniej ogółem, wybierając tańszą stawkę godzinową i mierzoną transmisję, którą rzadko wywołujesz. Dopasuj politykę do stosunku objętości wyjściowej do obliczeń, zamiast traktować zero opłat jako automatycznie lepsze.

Czy darmowy transfer wychodzący jest czasem ograniczany?

Tak. Niektórzy dostawcy oferują brak opłaty za gigabajt, ale ograniczają prędkość portu, więc duży eksport jest wolny, a nie drogi. Ponieważ zegar GPU może działać podczas przesyłania danych, “darmowy, ale wolny” nadal ma realny koszt w godzinach GPU. Zawsze sprawdzaj limit przepustowości razem z cennikiem.