Quelle est la performance maximale en FP16 de NVIDIA RTX A5000 ?

Réponse

Sorti en 2021, NVIDIA RTX A5000 est un accélérateur de classe Ampere avec 24 Go de GDDR6, 768 Go/s de bande passante mémoire, et 32.8 TFLOPS FP16 de calcul. Le pic FP32 est à 27.8 TFLOPS et la carte consomme jusqu'à 230W.

En termes pratiques : assez de VRAM pour charger des modèles dans la gamme ~24 milliards de paramètres en FP16 (plus grand avec quantification), assez de bande passante pour éviter la famine mémoire des couches d'attention, et assez de calcul pour entraîner des transformateurs avec des tailles de lots qui saturent les optimiseurs modernes.

The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.