NVIDIA H100 SXM architecture and memory — deep dive
Trả lời
The NVIDIA H100 SXM datasheet shows a Hopper-class card with 80 GB of HBM3 memory, 3,350 GB/s memory bandwidth, 990 TFLOPS of FP16 compute, 67 TFLOPS of FP32 compute, and a 700W thermal envelope. It reached market in 2023.
Those specs make it capable of handling the full modern AI stack: pre-model training moderate-sized models, fine-tuning most LLMs, running production real-time serving at useful batch sizes, and accelerating diffusion / image generation workloads.
Ready to deploy? Latitude.sh has NVIDIA H100 SXM from $1.57/hr. Vultr and Vast.ai also carry it.
Thêm câu hỏi thường gặp về NVIDIA H100 SXM
Novita AI đối đầu Latitude.sh đối đầu Vultr đối đầu Vast.ai đối đầu Massed Compute đối đầu DigitalOcean - So Sánh Nhà Cung Cấp GPU (Tháng Tư 2026)
So sánh song song Novita AI đối đầu Latitude.sh đối đầu Vultr đối đầu Vast.ai đối đầu Massed Compute đối đầu DigitalOcean. Nhanh chóng xem vốn tối đa, chia lợi nhuận, quy tắc rủi ro, đòn bẩy, nền tảng, công cụ, lịch thanh toán, tùy chọn thanh toán, quyền giao dịch và hạn chế KYC để thu hẹp danh sách công ty giao dịch vốn tự có của bạn. Dữ liệu cập nhật Tháng Tư 2026.
|
Novita AI
Nền tảng Đám mây AI & Đại lý với hơn 200 API mô hình, các phiên bản GPU và suy luận không máy chủ ở quy mô lớn.
|
Latitude.sh
Đám mây GPU bare metal trên 23 địa điểm toàn cầu
|
Vultr
GPU đám mây hiệu suất cao trên 32 khu vực toàn cầu
|
Vast.ai
GPU tức thì. Giá cả minh bạch.
|
Massed Compute
Đám mây GPU với hỗ trợ kỹ sư trực tiếp
|
DigitalOcean
Đám mây GPU đơn giản, có thể mở rộng cho AI/ML
|
|
|---|---|---|---|---|---|---|
| Tổng quan | ||||||
| Đánh giá Trustpilot | 3.3 | 3.7 | 1.8 | 4.4 | 0 | 4.6 |
| Trụ sở chính | United States | Brazil | United States | United States | United States | United States |
| Loại nhà cung cấp | Tập trung vào GPU | Bare Metal | Đa đám mây | Thị trường GPU | Tập trung vào GPU | Không áp dụng |
| Phù hợp nhất cho | Đào tạo AI suy luận tinh chỉnh AI tạo sinh nghiên cứu phục vụ LLM Stable Diffusion | Đào tạo AI suy luận GPU bare metal tinh chỉnh nghiên cứu khối lượng công việc chuyên dụng AI sinh tạo | Đào tạo AI suy luận kết xuất video HPC Stable Diffusion phát triển trò chơi AI tạo sinh tinh chỉnh nghiên cứu | Đào tạo AI suy luận tinh chỉnh Stable Diffusion xử lý theo lô nghiên cứu phục vụ LLM AI tạo sinh | Đào tạo AI suy luận kết xuất VFX AI tạo sinh tinh chỉnh HPC Stable Diffusion nghiên cứu | Đào tạo AI suy luận tinh chỉnh triển khai LLM phục vụ LLM thị giác máy tính khởi nghiệp AI tạo sinh nghiên cứu |
| Phần cứng GPU | ||||||
| Mẫu GPU | H100 SXM A100 SXM L40S RTX 4090 RTX 6000 Ada RTX 5090 RTX 3090 | A30 RTX A5000 RTX A6000 L40S RTX 6000 Ada A100 SXM H100 SXM GH200 RTX PRO 6000 | A16 A40 L40S A100 PCIe GH200 A100 SXM H100 SXM B200 B300 MI300X MI325X MI355X | B200 H200 H100 SXM H100 NVL A100 SXM A100 PCIe RTX 5090 RTX 5080 RTX 5070 Ti RTX 6000 Pro RTX 6000 Ada RTX 4500 Ada RTX A6000 RTX A5000 RTX A4000 L40S L40 A40 A10 RTX 4090 RTX 4080 RTX 4070 Ti RTX 4070 RTX 4060 Ti RTX 4060 RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 Tesla V100 Tesla T4 A2 GTX 1080 | A30 RTX A5000 RTX A6000 L40S A100 SXM H100 PCIe H100 SXM H100 NVL RTX PRO 6000 H200 NVL | RTX 4000 Ada RTX 6000 Ada L40S MI300X H100 SXM H200 |
| VRAM tối đa (GB) | 80 | 96 | 288 | 192 | 141 | 192 |
| Tối đa GPU/phiên bản | 8 | 8 | 16 | 8 | 8 | 8 |
| Kết nối nội bộ | NVLink | NVLink | NVLink | NVLink, InfiniBand | NVLink | NVLink |
| Bảng giá | ||||||
| Giá khởi điểm ($/giờ) | $0.11/hr | $0.35/hr | $0.47/hr | $0.06/hr | $0.35/hr | $0.76/hr |
| Độ chi tiết thanh toán | Mỗi giây | Theo giờ | Theo giờ | Mỗi giây | Theo phút | Tính theo giây |
| Spot/Preemptible | Có | Không | Có | Có | Không | Không |
| Giảm giá đặt trước | Không áp dụng | Không áp dụng | Không áp dụng | Lên đến 50% (đặt trước 1-6 tháng) | Không áp dụng | Không áp dụng |
| Tín dụng miễn phí | Lên đến $10,000 cho các startup | $200 qua chương trình giới thiệu | Tín dụng miễn phí lên đến $300 trong 30 ngày | Tín dụng thử nghiệm nhỏ khi đăng ký | Không có | 200 đô la tín dụng miễn phí trong 60 ngày |
| Phí truyền dữ liệu ra ngoài | Không có (Miễn phí) | Không có | Tiêu chuẩn (thay đổi theo gói) | Thay đổi theo máy chủ ($/TB) | Không có | Không có (đã bao gồm trong gói) |
| Lưu trữ | Ổ đĩa container (60GB miễn phí), ổ đĩa thể tích, thể tích mạng | NVMe cục bộ bao gồm (tối đa 4x 3.8TB), Lưu trữ Block $0.10/GB/tháng, Lưu trữ Hệ thống tập tin $0.05/GB/tháng | 350 GB - 61 TB NVMe (bao gồm), Lưu trữ Block với giá $0.10/GB/tháng, Lưu trữ Đối tượng tương thích S3 | Thay đổi theo máy chủ ($/GB/giờ, tính phí khi phiên bản tồn tại) | NVMe cục bộ đi kèm với các phiên bản | Bộ nhớ khởi động NVMe 500-720 GiB (đã bao gồm), bộ nhớ tạm NVMe 5 TiB trên các cấu hình lớn hơn, Volumes với giá 0,10 đô la/GiB/tháng |
| Hạ tầng | ||||||
| Khu vực | Mỹ, EU, APAC, Nam Mỹ, Châu Phi, Trung Đông (hơn 20 địa điểm) | 23 địa điểm: Mỹ (8 thành phố), LATAM (5), Châu Âu (5), APAC (4), Thành phố Mexico. GPU tại Dallas, Frankfurt, Sydney, Tokyo | 32 khu vực trên 6 châu lục (Châu Mỹ, Châu Âu, Châu Á, Úc, Châu Phi) | Hơn 500 địa điểm, hơn 40 trung tâm dữ liệu | Hoa Kỳ (trung tâm dữ liệu Tier III) | New York (NYC2), Toronto (TOR1), Atlanta (ATL1), Richmond (RIC1), Amsterdam (AMS3) |
| SLA thời gian hoạt động | 99,9% | 99.9% | 100% | Không có SLA chính thức (hiển thị điểm tin cậy máy chủ) | Tier III (thiết kế 99,98%) | 99% |
| Trải nghiệm nhà phát triển | ||||||
| Các khung làm việc | PyTorch TensorFlow CUDA cuDNN TensorRT | Ảnh tối ưu cho ML PyTorch TensorFlow (do người dùng cài đặt) CUDA | PyTorch TensorFlow CUDA cuDNN ROCm Hugging Face NVIDIA NGC | PyTorch TensorFlow CUDA vLLM ComfyUI | PyTorch TensorFlow CUDA cuDNN ComfyUI mẫu ML được cấu hình sẵn | PyTorch TensorFlow Jupyter Miniconda CUDA ROCm Hugging Face |
| Hỗ trợ Docker | Có | Có | Có | Có | Có | Có |
| Truy cập SSH | Có | Có | Có | Có | Có | Có |
| Sổ tay Jupyter | Có | Không | Có | Có | Không | Có |
| API / CLI | Có | Có | Có | Có | Có | Có |
| Thời gian thiết lập | Không áp dụng | Giây | Phút | Giây | Phút | Phút |
| Hỗ trợ Kubernetes | Không | Không | Có | Không | Không | Có |
| Điều khoản kinh doanh | ||||||
| Cam kết tối thiểu | Không có | Không có | Không có | Không có | Không có | Không có |
| Tuân thủ | SOC 2 | Cô lập thuê riêng DPA có sẵn | SOC 2+ (HIPAA) PCI ISO 27001 ISO 27017 ISO 27018 ISO 20000-1 CSA STAR Cấp độ 1 | SOC 2 Loại 2 HIPAA GDPR CCPA | SOC 2 Loại II HIPAA | SOC 2 Loại II SOC 3 HIPAA (với BAA) CSA STAR Cấp độ 1 |
Novita AI
Latitude.sh
Vultr
Vast.ai
Massed Compute
DigitalOcean