TDP NVIDIA RTX A4000 — ile watów zużywa?

Odpowiedź

Profil techniczny NVIDIA RTX A4000: projekt Ampere, 16 GB pamięci VRAM GDDR6, przepustowość pamięci 448 GB/s, 19.2/16 TFLOPS FP16/FP32, TDP 140W, wydana 2021.

Każda liczba odpowiada praktycznemu zagadnieniu. VRAM determinuje rozmiar modelu. Przepustowość ogranicza prędkość dekodowania w modelach autoregresyjnych. TFLOPS FP16 dominuje w treningu wstępnym z dużą partią. TFLOPS FP32 mają mniejsze znaczenie dla głębokiego uczenia, ale są ważne dla symulacji naukowych i HPC. TDP wpływa na chłodzenie, gęstość w szafie oraz ostatecznie na cenę w chmurze.

The NVIDIA RTX A4000 page has the complete datasheet and side-by-side comparisons.