Louer NVIDIA A10G dans le Cloud

NVIDIA A10G est une carte Ampere avec 24 Go de mémoire GDDR6, 600 Go/s de bande passante, et 70 TFLOPS de calcul FP16. Elle a été lancée en 2021 et utilise jusqu'à 300W de puissance.

Dans les charges de travail réelles, le sous-système mémoire est généralement le facteur le plus important : 600 Go/s de bande passante suffisent à soutenir la plupart des tâches de décodage de transformateurs sans priver les unités de calcul, tandis que 24 Go de VRAM supportent une large gamme de tailles de modèles, surtout une fois la quantification appliquée.

Check the NVIDIA A10G page for complete specifications and related GPU matchups.

NVIDIA A10G est une carte Ampere offrant 70 TFLOPS FP16 et 35 TFLOPS FP32 avec 600 GB/s de bande passante mémoire. C’est assez de puissance pour gérer l’entraînement de modèles modernes et les charges de travail de service temps réel à grande échelle.

Les benchmarks montrent que NVIDIA A10G performe particulièrement bien sur les modèles de type transformeur où les cœurs tensoriels sont saturés par de grandes multiplications matricielles. Les modèles de diffusion, la parole et les charges de travail de vision bénéficient aussi d’accélérations importantes par rapport aux générations précédentes. Pour le service temps réel sensible à la latence, NVIDIA A10G atteint généralement des taux de tokens par seconde bien supérieurs au seuil de 30-50 tok/s visé par la plupart des produits.

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.

NVIDIA A10G brille pour Inference, graphics rendering, AI-accelerated workloads. La VRAM de 24 Go et les cœurs tensoriels de génération Ampere en font un excellent choix pour les charges IA qui poussent les tailles de batch et bénéficient du support moderne de précision mixte.

C'est excessif pour des expériences simples et sous-dimensionné pour les plus grands modèles de pointe, mais couvre le vaste milieu : ajustement fin de transformeurs open source, entraînement de modèles de diffusion, exécution de pipelines de service batch en temps réel, et support de workflows interactifs nécessitant plus de VRAM qu'une carte grand public.

Full specs, benchmarks, and comparisons are on the NVIDIA A10G page.