最佳 AI Inference 云GPU — May 2026

针对服务优化的云端GPU——每美元高吞吐量,低延迟,广泛的框架支持。

更新于 五月 2026 显示 38 款 GPU 型号 适合 inference
AMD 288 GB
MI350X
HBM3e CDNA 4
VRAM 288 GB
AMD 256 GB
MI325X
HBM3e CDNA 3 $2.00/hr
VRAM 256 GB
NVIDIA 192 GB
B200
HBM3e Blackwell $1.99/hr
VRAM 192 GB
NVIDIA 192 GB
B100
HBM3e Blackwell
VRAM 192 GB
AMD 192 GB
MI300X
HBM3 CDNA 3 $1.85/hr
VRAM 192 GB
NVIDIA 141 GB
H200 SXM
HBM3e Hopper $2.05/hr
VRAM 141 GB
NVIDIA 80 GB
A100 SXM (80GB)
HBM2e Ampere $1.10/hr
VRAM 80 GB
NVIDIA 64 GB
A16
GDDR6 Ampere $0.47/hr
VRAM 64 GB
NVIDIA 48 GB
L40S
GDDR6 Ada Lovelace $0.55/hr
VRAM 48 GB
NVIDIA 48 GB
L40
GDDR6 Ada Lovelace
VRAM 48 GB
NVIDIA 48 GB
A40
GDDR6 Ampere $0.30/hr
VRAM 48 GB
NVIDIA 40 GB
A100 SXM (40GB)
HBM2e Ampere $0.80/hr
VRAM 40 GB
NVIDIA 24 GB
A30
HBM2e Ampere $0.25/hr
VRAM 24 GB
NVIDIA 24 GB
L4
GDDR6 Ada Lovelace $0.39/hr
VRAM 24 GB
NVIDIA 24 GB
A10G
GDDR6 Ampere
VRAM 24 GB
NVIDIA 16 GB
V100
HBM2 Volta $0.13/hr
VRAM 16 GB
NVIDIA 16 GB
T4
GDDR6 Turing $0.08/hr
VRAM 16 GB
NVIDIA 16 GB
A2
GDDR6 Ampere $0.22/hr
VRAM 16 GB
NVIDIA 8 GB
P4
GDDR5 Pascal $0.16/hr
VRAM 8 GB
NVIDIA 48 GB
RTX 6000 Ada
GDDR6 Ada Lovelace $0.47/hr
VRAM 48 GB
NVIDIA 48 GB
RTX A6000
GDDR6 Ampere $0.30/hr
VRAM 48 GB
NVIDIA 32 GB
RTX 5000 Ada
GDDR6 Ada Lovelace
VRAM 32 GB
NVIDIA 32 GB
RTX 5090
GDDR7 Blackwell $0.34/hr
VRAM 32 GB
NVIDIA 24 GB
RTX 4090
GDDR6X Ada Lovelace $0.28/hr
VRAM 24 GB
NVIDIA 24 GB
RTX 3090
GDDR6X Ampere $0.12/hr
VRAM 24 GB
NVIDIA 16 GB
RTX 5080
GDDR7 Blackwell
VRAM 16 GB
NVIDIA 16 GB
RTX 4080 SUPER
GDDR6X Ada Lovelace
VRAM 16 GB
NVIDIA 16 GB
RTX 4080
GDDR6X Ada Lovelace
VRAM 16 GB
NVIDIA 16 GB
RTX 5070 Ti
GDDR7 Blackwell
VRAM 16 GB
NVIDIA 16 GB
RTX 4060 Ti
GDDR6 Ada Lovelace
VRAM 16 GB
NVIDIA 12 GB
RTX 4070 Ti
GDDR6X Ada Lovelace
VRAM 12 GB
NVIDIA 12 GB
RTX 3080 Ti
GDDR6X Ampere
VRAM 12 GB
NVIDIA 12 GB
RTX 4070
GDDR6X Ada Lovelace
VRAM 12 GB
NVIDIA 10 GB
RTX 3080
GDDR6X Ampere
VRAM 10 GB
NVIDIA 8 GB
RTX 3070 Ti
GDDR6X Ampere
VRAM 8 GB
NVIDIA 8 GB
RTX 3070
GDDR6 Ampere
VRAM 8 GB
NVIDIA 8 GB
RTX 4060
GDDR6 Ada Lovelace
VRAM 8 GB
NVIDIA 8 GB
GTX 1080
GDDR5X Pascal
VRAM 8 GB

MI350X 对比 MI325X 对比 B200 — 本指南精选

MI350X vs MI325X vs B200
MI350X
CDNA 4 · 288 GB
MI325X
CDNA 3 · 256 GB
B200
布莱克韦尔 · 192 GB
规格
制造商 AMD AMD NVIDIA
架构 CDNA 4 CDNA 3 布莱克韦尔
显存 288 GB HBM3e 256 GB HBM3e 192 GB HBM3e
带宽 8,000 GB/s 6,000 GB/s 8,000 GB/s
FP16(张量) 1,800 TFLOPS 1,307 TFLOPS 2,250 TFLOPS
FP32 72 TFLOPS 163.4 TFLOPS 75 TFLOPS
热设计功耗 1000 W 1000 W 1000 W
发布年份 2025 2024 2024
细分市场 数据中心 数据中心 数据中心
云端价格
最便宜的按需 $2.00/hr $1.99/hr
供应商 1 2 2

自定义 GPU 比较

从本指南中选择任意 2 款 GPU 并并排展示。

提示:GPU 比较成对进行。请选择恰好 2 款 — 若未选择,我们将打开本指南中的前 2 款。