Throughput di pre-addestramento di NVIDIA GeForce RTX 5080 — cosa posso aspettarmi?
Risposta
NVIDIA GeForce RTX 5080 spinge 56 TFLOPS FP16, 28 TFLOPS FP32, alimentandoli con 16 GB di VRAM a 960 GB/s.
Benchmark: l'addestramento LLM con precisione mista vede un utilizzo quasi al picco dei FLOPS con dimensioni di batch che si adattano alla VRAM; l'inferenza LLM è tipicamente entro il 5-15% del limite teorico legato alla larghezza di banda nella decodifica autoregressiva; i modelli di diffusione mostrano il salto più grande rispetto agli acceleratori più vecchi, dove i kernel di attenzione più veloci si sommano ai guadagni di calcolo puro.
The NVIDIA GeForce RTX 5080 page has the complete datasheet and side-by-side comparisons.