Najlepsi dostawcy chmurowych GPU z NVIDIA H100

Czym tak naprawdę jest NVIDIA H100

H100 to akcelerator do centrów danych firmy NVIDIA oparty na architekturze Hopper, generacji pośredniej między starszym Ampere A100 a nowszymi układami Blackwell. Jest to GPU, po które sięga większość zespołów, gdy potrzebują poważnego treningu dużych modeli lub szybkiego wnioskowania o wysokiej przepustowości, nie schodząc do kart konsumenckich. Wynajmując instancję H100 z powyższego porównania, wynajmujesz specjalnie zaprojektowany akcelerator AI, a nie przystosowane GPU do gier, co wpływa zarówno na jego możliwości, jak i cenę.

Kluczowe cechy sprzętowe istotne dla najemcy:

• Pamięć: wariant SXM5 wyposażony jest w 80 GB pamięci HBM3, natomiast wariant PCIe korzysta z HBM2e, również 80 GB w wersji standardowej. Późniejsza aktualizacja, H100 NVL, zwiększa pojemność na kartę. Duża, szybka pamięć HBM jest najważniejszym powodem wyboru tej karty zamiast opcji opartych na GDDR6.
• Przepustowość pamięci: HBM3 w wariancie SXM5 oferuje około 3 TB/s, znacznie więcej niż karty konsumenckie GDDR6/GDDR6X. To przepustowość, a nie surowa liczba FLOPów, zapewnia odpowiednie zasilanie dużych warstw transformera.
• Rdzenie tensorowe i precyzje: czwartej generacji rdzenie tensorowe obsługują FP16, BF16, TF32, INT8 oraz — nowość w Hopper — FP8. FP8 to kluczowa funkcja dla nowoczesnych obciążeń LLM, która mniej więcej podwaja przepustowość względem FP16 na obsługiwanych jądrach, zachowując przy tym akceptowalną dokładność przy odpowiednim skalowaniu.
• Silnik transformera: Hopper łączy sprzęt FP8 z oprogramowaniem, które dynamicznie zarządza precyzją na warstwę, dzięki czemu przepustowość H100 podczas treningu i wnioskowania transformera może znacznie przewyższać poprzednią generację na tym samym modelu.
• Połączenie: płyty SXM5 wykorzystują czwartą generację NVLink i NVSwitch do szybkich połączeń GPU-GPU w węźle, podczas gdy karty PCIe polegają na magistrali PCIe (z opcjonalnymi mostkami NVLink w niektórych wariantach). Ta różnica jest bardzo istotna dla zadań wielo-GPU.
• Klasa mocy: karta SXM5 to około 700 W w obudowie serwera z 8 GPU; karta PCIe ma niższe zużycie, około 350 W. Nie płacisz bezpośrednio za zużycie energii przy wynajmie, ale tłumaczy to, dlaczego te instancje są gęste, gorące i odpowiednio wycenione.

Do jakich zadań H100 naprawdę pasuje

H100 sprawdza się w zadaniach wymagających dużej przepustowości pamięci i intensywnego przetwarzania. Jest doskonały do:

• Treningu i dostrajania dużych modeli: 80 GB HBM pozwala na przechowywanie większych partii i większych fragmentów parametrów na GPU, a NVLink umożliwia efektywne skalowanie wielo-GPU i wielowęzłowe dla treningu równoległego danych i tensorów.
• Wnioskowania LLM o wysokiej przepustowości: FP8 i Silnik Transformera czynią go doskonałym do obsługi dużych modeli językowych przy dużej liczbie zapytań, gdzie liczy się liczba tokenów na sekundę na dolar.
• Dostrajania modeli średnich i dużych: pełne dostrajanie i metody efektywne parametrowo na modelach z wieloma miliardami parametrów mieszczą się wygodnie tam, gdzie karty z mniejszą pamięcią VRAM wymuszają agresywne przenoszenie danych.
• Obliczenia naukowe i HPC: wysoka przepustowość FP64 (w przeciwieństwie do kart konsumenckich, które są tu celowo słabe) czyni go odpowiednim do symulacji i prac numerycznych, nie tylko AI.

Jest przesadą do eksperymentów z małymi modelami, lekkiego wnioskowania kompaktowych modeli, klasycznego ML, notebooków i większości prac związanych z renderowaniem lub wizualizacją — te działają dobrze na znacznie tańszych kartach, a wynajem H100 na te zadania to głównie marnowanie pieniędzy. Rzadko jest niedostatecznie wydajny do pracy na pojedynczym węźle; głównym powodem, dla którego zespoły go opuszczają, jest potrzeba większej łącznej pamięci niż oferuje pojedynczy węzeł tych kart lub chęć uzyskania najnowszych zysków efektywności generacji.

SXM vs PCIe — wariant, który wynajmujesz, ma znaczenie

To najczęściej pomijany szczegół przy wynajmie. Płyty SXM5 oferują wyższą przepustowość, pełną strukturę NVLink/NVSwitch i wyższe stałe taktowania, dlatego poważny trening wielo-GPU prawie zawsze ich używa. Karty PCIe są tańsze w utrzymaniu i dobre do wnioskowania na pojedynczym GPU lub mniejszych zadań, ale ich połączenia między GPU są wolniejsze. Jeśli powyższa oferta nie podaje wariantu, traktuj to jako pytanie do wyjaśnienia przed rozpoczęciem treningu wielo-GPU.

Koszt wynajmu, dostępność i niedobór

W spektrum kosztów GPU w chmurze H100 plasuje się w górnej części — powyżej A100 i znacznie powyżej kart konsumenckich, takich jak RTX 4090 — choć został zepchnięty z absolutnego szczytu przez nowszy sprzęt klasy Blackwell. Ponieważ dokładne stawki zmieniają się nieustannie i różnią w zależności od dostawcy, regionu, okresu zobowiązania i wariantu, powinieneś sprawdzać aktualne ceny w powyższym porównaniu, zamiast ufać stałym wartościom. Kilka jakościowych punktów pozostaje niezmiennych:

• Na żądanie vs spot: przerywalna lub spotowa pojemność H100 może być znacznie tańsza niż na żądanie, co jest odpowiednie dla treningu z punktami kontrolnymi i odpornych na błędy wsadowych wnioskowań, ale ryzykowne dla długich, jednorazowych zadań bez dobrego checkpointingu.
• Niedobór: podaż H100 historycznie była ograniczona, więc dostępność — nie tylko cena — różni się w zależności od regionu i dostawcy. Najtańsza oferta jest bezwartościowa, jeśli pojemność jest wyprzedana w twoim regionie.
• Na GPU vs pełny węzeł: wielu dostawców wynajmuje pojedyncze H100, ale najlepsza wydajność wielo-GPU pochodzi z pełnych węzłów 8-GPU NVLink; sprawdź, czy masz dostęp do częściowego, pojedynczego czy pełnego węzła.
• Szczegółowość rozliczeń: rozliczenia sekundowe lub minutowe sprzyjają krótkim dostrajaniom i nieregularnemu wnioskowaniu; minimalne godziny faworyzują długie sesje. Dopasuj model do wzorca obciążenia.

Najczęściej zadawane pytania

Ile VRAM ma chmurowy H100?

Standardowy H100 ma 80 GB pamięci o wysokiej przepustowości — HBM3 w wariancie SXM5 i HBM2e w wariancie PCIe. Późniejsza aktualizacja H100 NVL zwiększa pojemność na kartę. Zawsze potwierdzaj dokładny wariant i wielkość pamięci w powyższej ofercie, ponieważ to determinuje największy model i rozmiar partii, które możesz uruchomić bez przenoszenia danych.

Czy warto wynajmować H100 zamiast A100?

Dla treningu i wnioskowania transformera zazwyczaj tak: wsparcie FP8 i Silnik Transformera Hopper mogą zapewnić znacząco wyższą przepustowość na GPU niż Ampere A100, co często rekompensuje wyższą stawkę godzinową pod względem kosztu na token lub krok. Dla małych lub pamięciowo lekkich zadań, które nie wykorzystują FP8, tańszy A100 lub karta konsumencka mogą być lepszą wartością.

Czy wybrać H100 SXM5 czy PCIe?

Wybierz SXM5 do treningu wielo-GPU i ściśle powiązanych zadań rozproszonych, ponieważ jego struktura NVLink/NVSwitch i wyższa przepustowość lepiej skalują się między GPU. PCIe jest odpowiedni i często tańszy do wnioskowania na pojedynczym GPU lub mniejszych obciążeń. Jeśli wariant nie jest podany, zapytaj przed rezerwacją treningu wielo-GPU.

Czy można zaoszczędzić na instancjach spot lub przerywalnych H100?

Tak, pojemność przerywalna jest zwykle znacznie tańsza niż na żądanie i dobrze sprawdza się przy treningu z częstymi punktami kontrolnymi lub wsadowym wnioskowaniu tolerującym restart. Unikaj jej do długich, niepunktowanych zadań, gdzie przerwanie w trakcie pracy zmarnowałoby godziny opłaconych obliczeń. Porównaj oba tryby cenowe w powyższej tabeli.