¿Cuál es el rendimiento máximo en FP16 de NVIDIA GeForce RTX 3070?
Respuesta
Lanzada en 2020, NVIDIA GeForce RTX 3070 es un acelerador de clase Ampere con 8 GB de GDDR6, 448 GB/s de ancho de banda de memoria y 20.3 TFLOPS FP16 de cómputo. El FP32 alcanza un pico de 10.2 TFLOPS y la tarjeta consume hasta 220W.
En términos prácticos: suficiente VRAM para cargar modelos en el rango de ~8B parámetros en FP16 (más grande con cuantización), suficiente ancho de banda para evitar que las capas de atención se queden sin memoria y suficiente cómputo para entrenar transformadores con tamaños de lote que saturan optimizadores modernos.
See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.