Quelle est la vitesse de NVIDIA GeForce RTX 3070 pour l'apprentissage automatique ?

Réponse

NVIDIA GeForce RTX 3070 atteint 20.3 TFLOPS de calcul FP16 avec 448 GB/s de bande passante mémoire et 8 GB de VRAM. Le FP32 atteint un pic à 10.2 TFLOPS.

Ces chiffres placent NVIDIA GeForce RTX 3070 dans une gamme de performance utile pour le travail en IA générative : suffisamment puissant pour le pré-entraînement de modèles moyens à grands dans un temps raisonnable, avec assez de bande passante pour maintenir une faible latence en service temps réel. Le nombre réel de tokens par seconde ou d’images par seconde varie par un facteur 2 selon le framework, la quantification et la taille du modèle — toujours effectuer un benchmark avec la pile exacte que vous prévoyez de déployer.

The NVIDIA GeForce RTX 3070 page has the complete datasheet and side-by-side comparisons.