¿Cuál es el rendimiento máximo en FP16 de NVIDIA RTX A5000?

Respuesta

Lanzada en 2021, NVIDIA RTX A5000 es un acelerador de clase Ampere con 24 GB de GDDR6, 768 GB/s de ancho de banda de memoria y 32.8 TFLOPS FP16 de cómputo. El FP32 alcanza un pico de 27.8 TFLOPS y la tarjeta consume hasta 230W.

En términos prácticos: suficiente VRAM para cargar modelos en el rango de ~24B parámetros en FP16 (más grande con cuantización), suficiente ancho de banda para evitar que las capas de atención se queden sin memoria y suficiente cómputo para entrenar transformadores con tamaños de lote que saturan optimizadores modernos.

The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.