Wat is de piek FP16-prestatie van NVIDIA GeForce RTX 3070?

Antwoord

Uitgebracht in 2020, is NVIDIA GeForce RTX 3070 een Ampere-klasse accelerator met 8 GB GDDR6, 448 GB/s geheugenbandbreedte, en 20.3 FP16 TFLOPS rekenkracht. FP32 piekt op 10.2 TFLOPS en de kaart verbruikt tot 220W.

In praktische termen: genoeg VRAM om modellen in de ~8B-parameter range te laden in FP16 (groter met quantisatie), genoeg bandbreedte om te voorkomen dat aandachtlagen uitgehongerd raken, en genoeg rekenkracht om transformers te trainen bij batchgroottes die moderne optimalisatoren verzadigen.

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.