Desempenho de núcleo tensorial do NVIDIA RTX A4000

Resposta

NVIDIA RTX A4000 é uma placa Ampere que oferece 19.2 TFLOPS FP16 e 16 TFLOPS FP32 junto com 448 GB/s de largura de banda de memória. Isso é computação suficiente para lidar com treinamento de modelos modernos e cargas de trabalho de serving em tempo real em grande escala.

Benchmarks mostram que NVIDIA RTX A4000 tem desempenho particularmente bom em modelos estilo transformer onde os núcleos tensor são saturados por grandes MatMuls. Modelos de difusão, fala e visão também veem acelerações fortes em relação às gerações anteriores. Para serving em tempo real sensível à latência, NVIDIA RTX A4000 geralmente atinge taxas de tokens por segundo em grandes modelos de linguagem bem acima do limite de 30-50 tok/s que a maioria dos produtos busca.

The NVIDIA RTX A4000 page has the complete datasheet and side-by-side comparisons.