Performance des cœurs Tensor de NVIDIA A10G

Réponse

NVIDIA A10G est une carte Ampere offrant 70 TFLOPS FP16 et 35 TFLOPS FP32 avec 600 GB/s de bande passante mémoire. C’est assez de puissance pour gérer l’entraînement de modèles modernes et les charges de travail de service temps réel à grande échelle.

Les benchmarks montrent que NVIDIA A10G performe particulièrement bien sur les modèles de type transformeur où les cœurs tensoriels sont saturés par de grandes multiplications matricielles. Les modèles de diffusion, la parole et les charges de travail de vision bénéficient aussi d’accélérations importantes par rapport aux générations précédentes. Pour le service temps réel sensible à la latence, NVIDIA A10G atteint généralement des taux de tokens par seconde bien supérieurs au seuil de 30-50 tok/s visé par la plupart des produits.

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.