Alugar NVIDIA GeForce RTX 3080 na Nuvem

NVIDIA GeForce RTX 3080 possui 10 GB de GDDR6X com 760 GB/s de largura de banda, entrega 29.8 TFLOPS de computação FP16 e opera a 320W. É baseada na arquitetura Ampere introduzida em 2020.

Para a maioria dos casos de uso em IA, isso importa em três aspectos: 1) o tamanho do modelo que você pode carregar; 2) a velocidade da atenção (limitada pela largura de banda); 3) a velocidade das operações pesadas em MatMul (limitada pela computação). NVIDIA GeForce RTX 3080 tende a estar em um ponto equilibrado nos três — por isso aparece repetidamente em catálogos de nuvem voltados para equipes de ML.

Check the NVIDIA GeForce RTX 3080 page for complete specifications and related GPU matchups.

Computação bruta em NVIDIA GeForce RTX 3080 atinge pico de 29.8 TFLOPS FP16 e 14.9 TFLOPS FP32, com 760 GB/s de largura de banda de memória alimentando as unidades de computação. A arquitetura Ampere traz núcleos tensor otimizados para precisão mista BF16/FP16 / FP8 — os formatos que mais importam para transformers modernos.

O throughput real de treinamento de modelos escala próximo aos picos teóricos em grandes tamanhos de lote; lotes menores são limitados pela memória. Para inferência de baixa latência, tokens por segundo em transformers como Llama 70B dependem muito da estratégia de quantização — FP8/INT8 desbloqueiam o teto de computação, FP16 é limitado pela largura de banda.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.

NVIDIA GeForce RTX 3080 é melhor para cargas de trabalho onde seus 10 GB de VRAM e Ampere núcleos tensor são bem equilibrados: Gaming, inference.

Se sua carga de trabalho precisa de significativamente mais memória (por exemplo, treinamento de modelos de ponta do zero), NVIDIA GeForce RTX 3080 é pequeno demais e você vai querer uma placa da classe H100/H200/B200. Se sua carga de trabalho precisa de menos (por exemplo, atendimento em pequena escala em modelos de 7 bilhões de parâmetros), placas mais baratas como L4 ou RTX 4090 podem ser mais econômicas. Para a faixa intermediária, NVIDIA GeForce RTX 3080 geralmente é a escolha sensata.

See the NVIDIA GeForce RTX 3080 page for the full spec sheet and comparisons to related GPUs.