NVIDIA RTX A4000 TDP — quanti watt consuma?

Risposta

Profilo tecnico di NVIDIA RTX A4000: design Ampere, 16 GB di VRAM GDDR6, 448 GB/s di larghezza di banda, 19.2/16 TFLOPS FP16/FP32, TDP 140W, rilasciata 2021.

Ogni numero corrisponde a una preoccupazione pratica. La VRAM governa la dimensione del modello. La larghezza di banda limita la velocità di decodifica sui modelli autoregressivi. I TFLOPS FP16 dominano il pre-addestramento con batch grandi. I TFLOPS FP32 contano meno per il deep learning ma sono importanti per la simulazione scientifica e l'HPC. Il TDP influenza il raffreddamento, la densità nei rack e infine il prezzo nel cloud.

The NVIDIA RTX A4000 page has the complete datasheet and side-by-side comparisons.