Qual è la prestazione massima in FP16 di NVIDIA GeForce RTX 3070?

Risposta

Rilasciata in 2020, NVIDIA GeForce RTX 3070 è un acceleratore di classe Ampere con 8 GB di GDDR6, 448 GB/s di larghezza di banda della memoria e 20.3 TFLOPS FP16 di calcolo. Il picco FP32 è di 10.2 TFLOPS e la scheda consuma fino a 220W.

In termini pratici: abbastanza VRAM per caricare modelli nella gamma di ~8 miliardi di parametri in FP16 (più grandi con la quantizzazione), abbastanza larghezza di banda per evitare che gli strati di attenzione soffrano di carenza di memoria, e abbastanza calcolo per addestrare transformer con dimensioni di batch che saturano gli ottimizzatori moderni.

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.