Quelle est la performance maximale en FP16 de NVIDIA GeForce RTX 3070 ?

Réponse

Sorti en 2020, NVIDIA GeForce RTX 3070 est un accélérateur de classe Ampere avec 8 Go de GDDR6, 448 Go/s de bande passante mémoire, et 20.3 TFLOPS FP16 de calcul. Le pic FP32 est à 10.2 TFLOPS et la carte consomme jusqu'à 220W.

En termes pratiques : assez de VRAM pour charger des modèles dans la gamme ~8 milliards de paramètres en FP16 (plus grand avec quantification), assez de bande passante pour éviter la famine mémoire des couches d'attention, et assez de calcul pour entraîner des transformateurs avec des tailles de lots qui saturent les optimiseurs modernes.

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.