Qual è la prestazione massima in FP16 di NVIDIA RTX A5000?

Risposta

Rilasciata in 2021, NVIDIA RTX A5000 è un acceleratore di classe Ampere con 24 GB di GDDR6, 768 GB/s di larghezza di banda della memoria e 32.8 TFLOPS FP16 di calcolo. Il picco FP32 è di 27.8 TFLOPS e la scheda consuma fino a 230W.

In termini pratici: abbastanza VRAM per caricare modelli nella gamma di ~24 miliardi di parametri in FP16 (più grandi con la quantizzazione), abbastanza larghezza di banda per evitare che gli strati di attenzione soffrano di carenza di memoria, e abbastanza calcolo per addestrare transformer con dimensioni di batch che saturano gli ottimizzatori moderni.

The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.