NVIDIA GeForce RTX 3080 é mais rápido que A100 para fine-tuning?

Resposta

Computação bruta em NVIDIA GeForce RTX 3080 atinge pico de 29.8 TFLOPS FP16 e 14.9 TFLOPS FP32, com 760 GB/s de largura de banda de memória alimentando as unidades de computação. A arquitetura Ampere traz núcleos tensor otimizados para precisão mista BF16/FP16 / FP8 — os formatos que mais importam para transformers modernos.

O throughput real de treinamento de modelos escala próximo aos picos teóricos em grandes tamanhos de lote; lotes menores são limitados pela memória. Para inferência de baixa latência, tokens por segundo em transformers como Llama 70B dependem muito da estratégia de quantização — FP8/INT8 desbloqueiam o teto de computação, FP16 é limitado pela largura de banda.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.