NVIDIA GeForce RTX 3070 Ti é mais rápido que A100 para fine-tuning?

Resposta

Computação bruta em NVIDIA GeForce RTX 3070 Ti atinge pico de 21.7 TFLOPS FP16 e 10.8 TFLOPS FP32, com 608 GB/s de largura de banda de memória alimentando as unidades de computação. A arquitetura Ampere traz núcleos tensor otimizados para precisão mista BF16/FP16 / FP8 — os formatos que mais importam para transformers modernos.

O throughput real de treinamento de modelos escala próximo aos picos teóricos em grandes tamanhos de lote; lotes menores são limitados pela memória. Para inferência de baixa latência, tokens por segundo em transformers como Llama 70B dependem muito da estratégia de quantização — FP8/INT8 desbloqueiam o teto de computação, FP16 é limitado pela largura de banda.

Review full specs and related comparisons on the NVIDIA GeForce RTX 3070 Ti page.