¿Es NVIDIA GeForce RTX 3080 más rápido que A100 para ajuste fino?
Respuesta
El cómputo bruto en NVIDIA GeForce RTX 3080 alcanza un máximo de 29.8 TFLOPS FP16 y 14.9 TFLOPS FP32, con 760 GB/s de ancho de banda de memoria alimentando las unidades de cómputo. La arquitectura Ampere trae núcleos tensoriales optimizados para precisión mixta BF16/FP16 / FP8 — los formatos que más importan para transformadores modernos.
El rendimiento real de entrenamiento de modelos escala cerca de los picos teóricos en tamaños de lote grandes; los lotes pequeños están limitados por memoria. Para inferencia de baja latencia, los tokens por segundo en transformadores como Llama 70B dependen mucho de la estrategia de cuantización — FP8/INT8 desbloquean el techo de cómputo, FP16 está limitado por ancho de banda.
The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.