Que tipo de memória NVIDIA GeForce RTX 3080 usa (HBM, GDDR)?

Resposta

NVIDIA GeForce RTX 3080 possui 10 GB de GDDR6X com 760 GB/s de largura de banda, entrega 29.8 TFLOPS de computação FP16 e opera a 320W. É baseada na arquitetura Ampere introduzida em 2020.

Para a maioria dos casos de uso em IA, isso importa em três aspectos: 1) o tamanho do modelo que você pode carregar; 2) a velocidade da atenção (limitada pela largura de banda); 3) a velocidade das operações pesadas em MatMul (limitada pela computação). NVIDIA GeForce RTX 3080 tende a estar em um ponto equilibrado nos três — por isso aparece repetidamente em catálogos de nuvem voltados para equipes de ML.

Check the NVIDIA GeForce RTX 3080 page for complete specifications and related GPU matchups.