Quão rápido é NVIDIA GeForce RTX 3070 para ML?

Resposta

NVIDIA GeForce RTX 3070 atinge 20.3 TFLOPS de computação FP16 com 448 GB/s de largura de banda de memória e 8 GB de VRAM. FP32 atinge pico de 10.2 TFLOPS.

Esses números colocam NVIDIA GeForce RTX 3070 em uma faixa útil de desempenho para trabalho de IA generativa: forte o suficiente para pré-treinamento de modelos médios a grandes em tempo razoável, com largura de banda suficiente para manter a latência de serving em tempo real baixa. Tokens por segundo ou imagens por segundo reais variam 2x dependendo do framework, quantização e tamanho do modelo — sempre faça benchmark com a pilha exata que você planeja usar.

The NVIDIA GeForce RTX 3070 page has the complete datasheet and side-by-side comparisons.