How fast is AMD Instinct MI350X for ML?

Réponse

AMD Instinct MI350X hits 1,800 TFLOPS of FP16 compute with 8,000 GB/s of memory bandwidth and 288 GB of VRAM. FP32 peaks at 72 TFLOPS.

Those figures place AMD Instinct MI350X in a useful performance band for generative AI work: strong enough to pre-training mid-to-large models in reasonable time, with enough bandwidth to keep real-time serving latency low. Actual tokens-per-second or images-per-second varies 2x depending on framework, quantisation, and model size — always benchmark with the exact stack you plan to ship.

See the AMD Instinct MI350X page for the full spec sheet and current provider list.

Plus de FAQs sur AMD Instinct MI350X

Revue du fournisseur de GPU DigitalOcean & faits clés (Avril 2026)

Aperçu de DigitalOcean : financement maximal, partages des bénéfices, règles de drawdown, effet de levier, instruments, calendrier des paiements, méthodes de paiement, permissions de trading et KYC. Données vérifiées Avril 2026.

Revue du fournisseur de GPU DigitalOcean & faits clés (Avril 2026)
DigitalOcean
Cloud GPU simple et évolutif pour IA/ML
Visit DigitalOcean
Aperçu
Note Trustpilot 4.6
Siège social United States
Type de fournisseur N/A
Idéal pour Formation IA inférence ajustement fin déploiement LLM service LLM vision par ordinateur startups IA générative recherche
Matériel GPU
Modèles GPU RTX 4000 Ada RTX 6000 Ada L40S MI300X H100 SXM H200
VRAM max (Go) 192
Max GPUs/instance 8
Interconnexion NVLink
Tarification
Prix de départ ($/h) $0.76/hr
Granularité de facturation À la seconde
Spot/Préemptible Non
Remises réservées N/A
Crédits gratuits 200 $ de crédit gratuit pendant 60 jours
Frais de sortie Aucun (inclus dans le forfait)
Stockage 500-720 Gio NVMe de démarrage (inclus), 5 Tio NVMe scratch sur les configurations plus grandes, volumes à 0,10 $/Gio/mois
Infrastructure
Régions New York (NYC2), Toronto (TOR1), Atlanta (ATL1), Richmond (RIC1), Amsterdam (AMS3)
SLA de disponibilité 99 %
Expérience Développeur
Frameworks PyTorch TensorFlow Jupyter Miniconda CUDA ROCm Hugging Face
Support Docker Oui
Accès SSH Oui
Carnets Jupyter Oui
API / CLI Oui
Temps de configuration Minutes
Support Kubernetes Oui
Conditions Commerciales
Engagement minimum Aucun
Conformité SOC 2 Type II SOC 3 HIPAA (avec BAA) CSA STAR Niveau 1
DigitalOcean

Explorer AMD Instinct MI350X