Какова пропускная способность памяти у NVIDIA RTX 5000 Ada?

Ответ

Вкратце: NVIDIA RTX 5000 Ada = архитектура Ada Lovelace, 32 ГБ GDDR6 памяти, 576 ГБ/с пропускной способности, 45.3 TFLOPS FP16, 22.6 TFLOPS FP32, 250 Вт, 2024.

Эти характеристики отражают основное для машинного обучения: объём видеопамяти задаёт верхний предел размера модели, пропускная способность ограничивает скорость инференса с интенсивным вниманием, а TFLOPS определяют пропускную способность при предварительном обучении. NVIDIA RTX 5000 Ada уверенно относится к классу ускорителей, ориентированных на современные задачи трансформеров — баланс пропускной способности и TFLOPS настроен на обучение с большими пакетами и производственный инференс, а не на игры.

The NVIDIA RTX 5000 Ada page has the complete datasheet and side-by-side comparisons.