Qual o desempenho máximo em FP16 de NVIDIA GeForce RTX 3070?

Resposta

Lançado em 2020, NVIDIA GeForce RTX 3070 é um acelerador da classe Ampere com 8 GB de GDDR6, 448 GB/s de largura de banda de memória e 20.3 TFLOPS FP16 de computação. O pico FP32 é de 10.2 TFLOPS e a placa consome até 220W.

Em termos práticos: VRAM suficiente para carregar modelos na faixa de ~8 bilhões de parâmetros em FP16 (maior com quantização), largura de banda suficiente para evitar falta de memória nas camadas de atenção e computação suficiente para treinar transformadores em tamanhos de lote que saturam otimizadores modernos.

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.