AMD Instinct MI325X inference latency for batch-1 serving
答案
AMD Instinct MI325X performance headline: 1,307 FP16 TFLOPS, 163.4 FP32 TFLOPS, 6,000 GB/s bandwidth, 256 GB VRAM.
Converted into practical benchmarks: model training a 7B-parameter LLM in FP16 with reasonable batch sizes typically saturates compute before bandwidth; real-time serving on the same model is usually bandwidth-bound and tracks the 6,000 GB/s figure. Diffusion image generation benchmarks sit between the two — compute-heavy steps utilise tensor cores well, while attention blocks still touch bandwidth.
The cheapest AMD Instinct MI325X cloud access right now is on Vultr at $2.00/hr.
更多关于 AMD Instinct MI325X 的常见问题
Vultr vs DigitalOcean - GPU提供商比较（四月 2026）
Vultr与DigitalOcean的正面比较。购买挑战前请查看最大资金、利润分成、每日及总体回撤规则、杠杆、可交易资产、支付频率、支付及提款方式、交易权限和KYC限制。数据更新于四月 2026。
|
Vultr
跨越32个全球区域的高性能云GPU
|
DigitalOcean
简单、可扩展的 AI/ML GPU 云
|
|
|---|---|---|
| 概览 | ||
| Trustpilot 评分 | 1.8 | 4.6 |
| 总部 | United States | United States |
| 供应商类型 | 多云 | 不适用 |
| 适用场景 | 人工智能训练、推理、视频渲染、高性能计算、稳定扩散、游戏开发、生成式人工智能、微调、研究 | AI训练、推理、微调、大型语言模型部署、大型语言模型服务、计算机视觉、初创企业、生成式AI、研究 |
| GPU硬件 | ||
| GPU 型号 | A16、A40、L40S、A100 PCIe、GH200、A100 SXM、H100 SXM、B200、B300、MI300X、MI325X、MI355X | RTX 4000 Ada、RTX 6000 Ada、L40S、MI300X、H100 SXM、H200 |
| 最大显存 (GB) | 288 | 192 |
| 每实例最大 GPU 数 | 16 | 8 |
| 互联 | NVLink | NVLink |
| 定价 | ||
| 起始价格 ($/小时) | $0.47/hr | $0.76/hr |
| 计费粒度 | 按小时计费 | 按秒计费 |
| 竞价/可抢占 | 是 | 否 |
| 预留折扣 | 不适用 | 不适用 |
| 免费额度 | 最高300美元免费额度，期限30天 | 60 天内赠送 200 美元免费额度 |
| 出站费用 | 标准（根据计划不同而异） | 无（包含在套餐中） |
| 存储 | 350 GB - 61 TB NVMe（包含），块存储每月0.10美元/GB，兼容S3的对象存储 | 500-720 GiB NVMe 启动盘（包含），大配置含 5 TiB NVMe 临时存储，卷存储费用为 0.10 美元/GiB/月 |
| 基础设施 | ||
| 区域 | 覆盖6大洲32个区域（美洲、欧洲、亚洲、澳大利亚、非洲） | 纽约（NYC2）、多伦多（TOR1）、亚特兰大（ATL1）、里士满（RIC1）、阿姆斯特丹（AMS3） |
| 正常运行时间 SLA | 100% | 99% |
| 开发者体验 | ||
| 框架 | PyTorch、TensorFlow、CUDA、cuDNN、ROCm、Hugging Face、NVIDIA NGC | PyTorch、TensorFlow、Jupyter、Miniconda、CUDA、ROCm、Hugging Face |
| Docker 支持 | 是 | 是 |
| SSH 访问 | 是 | 是 |
| Jupyter 笔记本 | 是 | 是 |
| API / 命令行界面 | 是 | 是 |
| 设置时间 | 分钟 | 分钟 |
| Kubernetes 支持 | 是 | 是 |
| 业务条款 | ||
| 最小承诺 | 无 | 无 |
| 合规性 | SOC 2+（HIPAA）、PCI、ISO 27001、ISO 27017、ISO 27018、ISO 20000-1、CSA STAR 1级 | SOC 2 类型 II、SOC 3、HIPAA（含 BAA）、CSA STAR 1 级 |
Vultr
DigitalOcean