Performance des cœurs Tensor de NVIDIA RTX A4000

Réponse

NVIDIA RTX A4000 est une carte Ampere offrant 19.2 TFLOPS FP16 et 16 TFLOPS FP32 avec 448 GB/s de bande passante mémoire. C’est assez de puissance pour gérer l’entraînement de modèles modernes et les charges de travail de service temps réel à grande échelle.

Les benchmarks montrent que NVIDIA RTX A4000 performe particulièrement bien sur les modèles de type transformeur où les cœurs tensoriels sont saturés par de grandes multiplications matricielles. Les modèles de diffusion, la parole et les charges de travail de vision bénéficient aussi d’accélérations importantes par rapport aux générations précédentes. Pour le service temps réel sensible à la latence, NVIDIA RTX A4000 atteint généralement des taux de tokens par seconde bien supérieurs au seuil de 30-50 tok/s visé par la plupart des produits.

The NVIDIA RTX A4000 page has the complete datasheet and side-by-side comparisons.