Qual o desempenho máximo em FP16 de NVIDIA RTX A5000?

Resposta

Lançado em 2021, NVIDIA RTX A5000 é um acelerador da classe Ampere com 24 GB de GDDR6, 768 GB/s de largura de banda de memória e 32.8 TFLOPS FP16 de computação. O pico FP32 é de 27.8 TFLOPS e a placa consome até 230W.

Em termos práticos: VRAM suficiente para carregar modelos na faixa de ~24 bilhões de parâmetros em FP16 (maior com quantização), largura de banda suficiente para evitar falta de memória nas camadas de atenção e computação suficiente para treinar transformadores em tamanhos de lote que saturam otimizadores modernos.

The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.