Rendimiento de núcleos tensoriales de NVIDIA RTX A4000

Respuesta

NVIDIA RTX A4000 es una tarjeta Ampere que ofrece 19.2 TFLOPS FP16 y 16 TFLOPS FP32 junto con 448 GB/s de ancho de banda de memoria. Eso es suficiente cómputo para manejar entrenamientos de modelos modernos y cargas de trabajo de servicio en tiempo real a gran escala.

Los benchmarks muestran que NVIDIA RTX A4000 funciona particularmente bien en modelos estilo transformador donde los núcleos tensoriales se saturan con grandes MatMuls. Los modelos de difusión, voz y visión también ven aceleraciones fuertes frente a generaciones anteriores. Para el servicio en tiempo real sensible a la latencia, NVIDIA RTX A4000 usualmente alcanza tasas objetivo de tokens por segundo en modelos de lenguaje grandes muy por encima del umbral de 30-50 tok/s que la mayoría de los productos busca.

The NVIDIA RTX A4000 page has the complete datasheet and side-by-side comparisons.