Как NVIDIA RTX A5000 сравнивается с H100 в бенчмарках?

Ответ

NVIDIA RTX A5000 характеристики производительности: 32.8 FP16 TFLOPS / 27.8 FP32 TFLOPS / 768 ГБ/с / 24 ГБ.

Три класса рабочих нагрузок, три разных узких места: дообучение нагружает тензорные ядра FP16/BF16 (ограничение по FLOPS); обслуживание больших языковых моделей нагружает пропускную способность памяти (ограничение по пропускной способности); HPC-стиль симуляций нагружает FP32 (также ограничение по FLOPS). NVIDIA RTX A5000 компетентно покрывает все три класса для своего поколения. Если ваш микс рабочих нагрузок склоняется к одному классу, проводите бенчмарки именно с этой нагрузкой, а не полагайтесь на синтетические пиковые значения.

Review full specs and related comparisons on the NVIDIA RTX A5000 page.