NVIDIA GeForce RTX 3080 est-il plus rapide que l'A100 pour le fine-tuning ?

Réponse

Le calcul brut sur NVIDIA GeForce RTX 3080 atteint un pic à 29.8 TFLOPS FP16 et 14.9 TFLOPS FP32, avec 760 GB/s de bande passante mémoire alimentant les unités de calcul. L’architecture Ampere apporte des cœurs tensoriels optimisés pour la précision mixte BF16/FP16 / FP8 — les formats les plus importants pour les transformeurs modernes.

Le débit réel d’entraînement de modèles s’approche des pics théoriques sur de grandes tailles de lots ; les petits lots sont limités par la mémoire. Pour l’inférence à faible latence, le nombre de tokens par seconde sur des transformeurs comme Llama 70B dépend fortement de la stratégie de quantification — FP8/INT8 débloquent le plafond de calcul, FP16 est limité par la bande passante.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.