NVIDIA H100 SXM architecture and memory — deep dive
Odpowiedź
The NVIDIA H100 SXM datasheet shows a Hopper-class card with 80 GB of HBM3 memory, 3,350 GB/s memory bandwidth, 990 TFLOPS of FP16 compute, 67 TFLOPS of FP32 compute, and a 700W thermal envelope. It reached market in 2023.
Those specs make it capable of handling the full modern AI stack: pre-model training moderate-sized models, fine-tuning most LLMs, running production real-time serving at useful batch sizes, and accelerating diffusion / image generation workloads.
Ready to deploy? Latitude.sh has NVIDIA H100 SXM from $1.57/hr. Vultr and Vast.ai also carry it.
Więcej FAQ o NVIDIA H100 SXM
Novita AI kontra Latitude.sh kontra Vultr kontra Vast.ai kontra Massed Compute kontra DigitalOcean – porównanie dostawców GPU (Kwiecień 2026)
Porównanie obok siebie Novita AI kontra Latitude.sh kontra Vultr kontra Vast.ai kontra Massed Compute kontra DigitalOcean. Szybko przejrzyj maksymalne finansowanie, podział zysków, zasady ryzyka, dźwignię, platformy, instrumenty, harmonogramy wypłat, opcje płatności, uprawnienia handlowe oraz ograniczenia KYC, aby zawęzić listę firm prop tradingowych. Dane zaktualizowane Kwiecień 2026.
|
Novita AI
Platforma AI & Agent Cloud z ponad 200 interfejsami API modeli, instancjami GPU oraz bezserwerowym wnioskowaniem na dużą skalę.
|
Latitude.sh
Chmura GPU bare metal w 23 lokalizacjach na całym świecie
|
Vultr
Wysokowydajne chmurowe GPU dostępne w 32 globalnych regionach
|
Vast.ai
Natychmiastowe GPU. Przejrzyste ceny.
|
Massed Compute
Chmura GPU z bezpośrednim wsparciem inżynierskim
|
DigitalOcean
Prosta, skalowalna chmura GPU dla AI/ML
|
|
|---|---|---|---|---|---|---|
| Przegląd | ||||||
| Ocena Trustpilot | 3.3 | 3.7 | 1.8 | 4.4 | 0 | 4.6 |
| Siedziba główna | United States | Brazil | United States | United States | United States | United States |
| Typ dostawcy | Skoncentrowane na GPU | Bare Metal | Multi-Chmura | Rynek GPU | Skoncentrowane na GPU | N/D |
| Najlepsze dla | Szkolenie AI wnioskowanie dostrajanie generatywna AI badania obsługa LLM Stable Diffusion | Szkolenie AI wnioskowanie GPU bare metal dostrajanie badania dedykowane obciążenia generatywna AI | Szkolenie AI wnioskowanie renderowanie wideo HPC Stable Diffusion rozwój gier generatywna AI dostrajanie badania | Trening AI wnioskowanie dostrajanie Stable Diffusion przetwarzanie wsadowe badania obsługa LLM generatywna AI | Szkolenie AI inferencja rendering VFX generatywna AI dostrajanie HPC Stable Diffusion badania | Szkolenie AI wnioskowanie dostrajanie wdrażanie LLM serwowanie LLM wizja komputerowa startupy generatywna AI badania |
| Sprzęt GPU | ||||||
| Modele GPU | H100 SXM A100 SXM L40S RTX 4090 RTX 6000 Ada RTX 5090 RTX 3090 | A30 RTX A5000 RTX A6000 L40S RTX 6000 Ada A100 SXM H100 SXM GH200 RTX PRO 6000 | A16 A40 L40S A100 PCIe GH200 A100 SXM H100 SXM B200 B300 MI300X MI325X MI355X | B200 H200 H100 SXM H100 NVL A100 SXM A100 PCIe RTX 5090 RTX 5080 RTX 5070 Ti RTX 6000 Pro RTX 6000 Ada RTX 4500 Ada RTX A6000 RTX A5000 RTX A4000 L40S L40 A40 A10 RTX 4090 RTX 4080 RTX 4070 Ti RTX 4070 RTX 4060 Ti RTX 4060 RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 Tesla V100 Tesla T4 A2 GTX 1080 | A30 RTX A5000 RTX A6000 L40S A100 SXM H100 PCIe H100 SXM H100 NVL RTX PRO 6000 H200 NVL | RTX 4000 Ada RTX 6000 Ada L40S MI300X H100 SXM H200 |
| Maks. VRAM (GB) | 80 | 96 | 288 | 192 | 141 | 192 |
| Maks. liczba GPU/instancję | 8 | 8 | 16 | 8 | 8 | 8 |
| Połączenie międzywęzłowe | NVLink | NVLink | NVLink | NVLink, InfiniBand | NVLink | NVLink |
| Cennik | ||||||
| Cena wyjściowa ($/godz.) | $0.11/hr | $0.35/hr | $0.47/hr | $0.06/hr | $0.35/hr | $0.76/hr |
| Szczegółowość rozliczeń | Na sekundę | Za godzinę | Za godzinę | Na sekundę | Rozliczanie co minutę | Rozliczanie co sekundę |
| Spot/Preemptible | Tak | Nie | Tak | Tak | Nie | Nie |
| Rabaty rezerwacyjne | N/D | N/D | N/D | Do 50% (rezerwacja na 1-6 miesięcy) | N/D | N/D |
| Darmowe kredyty | Do 10 000 USD dla startupów | 200 USD w ramach programu poleceń | Do 300 USD darmowego kredytu na 30 dni | Mały kredyt testowy przy rejestracji | Brak | 200 USD darmowego kredytu na 60 dni |
| Opłaty za transfer wychodzący | Brak (Darmowe) | Brak | Standardowy (zależny od planu) | Zależy od hosta (cena za TB) | Brak | Brak (wliczone w plan) |
| Pamięć masowa | Dysk kontenera (60 GB darmowe), dysk woluminowy, woluminy sieciowe | Lokalny NVMe w cenie (do 4x 3,8 TB), Storage blokowy 0,10 USD/GB/mies., Storage systemu plików 0,05 USD/GB/mies. | 350 GB - 61 TB NVMe (wliczone), pamięć blokowa za 0,10 USD/GB/mies., pamięć obiektowa kompatybilna z S3 | Zależy od hosta (cena za GB/godz., naliczana podczas istnienia instancji) | Lokalny NVMe wliczony w instancje | 500-720 GiB NVMe na rozruch (wliczone), 5 TiB NVMe na pamięć tymczasową w większych konfiguracjach, wolumeny po 0,10 USD/GiB/mies. |
| Infrastruktura | ||||||
| Regiony | USA, UE, APAC, Ameryka Południowa, Afryka, Bliski Wschód (ponad 20 lokalizacji) | 23 lokalizacje: USA (8 miast), Ameryka Łacińska (5), Europa (5), APAC (4), Meksyk (Miasto Meksyk). GPU w Dallas, Frankfurcie, Sydney, Tokio | 32 regiony na 6 kontynentach (Ameryki, Europa, Azja, Australia, Afryka) | Ponad 500 lokalizacji, ponad 40 centrów danych | Stany Zjednoczone (centra danych Tier III) | Nowy Jork (NYC2), Toronto (TOR1), Atlanta (ATL1), Richmond (RIC1), Amsterdam (AMS3) |
| SLA dostępności | 99,9% | 99,9% | 100% | Brak formalnego SLA (widoczne oceny niezawodności hosta) | Tier III (projekt 99,98%) | 99% |
| Doświadczenie dewelopera | ||||||
| Frameworki | PyTorch TensorFlow CUDA cuDNN TensorRT | Obrazy zoptymalizowane pod ML PyTorch TensorFlow (instalowane przez użytkownika) CUDA | PyTorch TensorFlow CUDA cuDNN ROCm Hugging Face NVIDIA NGC | PyTorch TensorFlow CUDA vLLM ComfyUI | PyTorch TensorFlow CUDA cuDNN ComfyUI wstępnie skonfigurowane szablony ML | PyTorch TensorFlow Jupyter Miniconda CUDA ROCm Hugging Face |
| Wsparcie Dockera | Tak | Tak | Tak | Tak | Tak | Tak |
| Dostęp SSH | Tak | Tak | Tak | Tak | Tak | Tak |
| Notatniki Jupyter | Tak | Nie | Tak | Tak | Nie | Tak |
| API / CLI | Tak | Tak | Tak | Tak | Tak | Tak |
| Czas konfiguracji | N/D | Sekundy | Minuty | Sekundy | Minuty | Minuty |
| Wsparcie Kubernetes | Nie | Nie | Tak | Nie | Nie | Tak |
| Warunki biznesowe | ||||||
| Minimalne zobowiązanie | Brak | Brak | Brak | Brak | Brak | Brak |
| Zgodność | SOC 2 | Izolacja pojedynczego najemcy dostępne DPA | SOC 2+ (HIPAA) PCI ISO 27001 ISO 27017 ISO 27018 ISO 20000-1 CSA STAR Poziom 1 | SOC 2 Typ 2 HIPAA GDPR CCPA | SOC 2 Typ II HIPAA | SOC 2 Typ II SOC 3 HIPAA (z BAA) CSA STAR Poziom 1 |
Novita AI
Latitude.sh
Vultr
Vast.ai
Massed Compute
DigitalOcean