Louer NVIDIA GeForce RTX 3080 dans le Cloud

NVIDIA GeForce RTX 3080 embarque 10 Go de GDDR6X avec 760 Go/s de bande passante, délivre 29.8 TFLOPS de calcul FP16, et fonctionne à 320W. Elle est basée sur l'architecture Ampere introduite en 2020.

Pour la plupart des cas d'utilisation en IA, cela compte de trois manières : 1) la taille du modèle que vous pouvez charger ; 2) la rapidité d'exécution de l'attention (limitée par la bande passante) ; 3) la rapidité des opérations intensives en MatMul (limitée par le calcul). NVIDIA GeForce RTX 3080 tend à se situer à un point d'équilibre sur ces trois aspects — c'est pourquoi elle apparaît fréquemment dans les catalogues cloud destinés aux équipes ML.

Check the NVIDIA GeForce RTX 3080 page for complete specifications and related GPU matchups.

Le calcul brut sur NVIDIA GeForce RTX 3080 atteint un pic à 29.8 TFLOPS FP16 et 14.9 TFLOPS FP32, avec 760 GB/s de bande passante mémoire alimentant les unités de calcul. L’architecture Ampere apporte des cœurs tensoriels optimisés pour la précision mixte BF16/FP16 / FP8 — les formats les plus importants pour les transformeurs modernes.

Le débit réel d’entraînement de modèles s’approche des pics théoriques sur de grandes tailles de lots ; les petits lots sont limités par la mémoire. Pour l’inférence à faible latence, le nombre de tokens par seconde sur des transformeurs comme Llama 70B dépend fortement de la stratégie de quantification — FP8/INT8 débloquent le plafond de calcul, FP16 est limité par la bande passante.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.

NVIDIA GeForce RTX 3080 est idéal pour les charges de travail où ses 10 Go de VRAM et Ampere cœurs tensoriels sont bien adaptés : Gaming, inference.

Si votre charge de travail nécessite beaucoup plus de mémoire (par exemple, l'entraînement de modèles de pointe à partir de zéro), NVIDIA GeForce RTX 3080 est sous-dimensionné et vous préférerez une carte de classe H100/H200/B200. Si votre charge de travail nécessite moins (par exemple, un service à petite échelle sur des modèles de 7 milliards de paramètres), des cartes moins coûteuses comme la L4 ou la RTX 4090 peuvent être plus rentables. Pour la gamme intermédiaire, NVIDIA GeForce RTX 3080 est généralement le choix judicieux.

See the NVIDIA GeForce RTX 3080 page for the full spec sheet and comparisons to related GPUs.