Care este performanța maximă FP16 a NVIDIA GeForce RTX 3070?

Răspuns

Lansat în 2020, NVIDIA GeForce RTX 3070 este un accelerator de clasă Ampere cu 8 GB de GDDR6, 448 GB/s lățime de bandă a memoriei și 20.3 TFLOPS FP16 de calcul. Vârful FP32 este de 10.2 TFLOPS, iar placa consumă până la 220W.

În termeni practici: suficient VRAM pentru a încărca modele în gama de aproximativ 8 miliarde de parametri în FP16 (mai mare cu cuantizare), suficientă lățime de bandă pentru a evita înfometarea memoriei în straturile de atenție și suficientă putere de calcul pentru a antrena transformatoare la dimensiuni de lot care satură optimizatorii moderni.

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.