Быстрее ли NVIDIA GeForce RTX 4080 A100 для дообучения?

Ответ

Пиковая вычислительная мощность NVIDIA GeForce RTX 4080 достигает 48.7 FP16 TFLOPS и 24.4 FP32 TFLOPS, с пропускной способностью памяти 717 ГБ/с, питающей вычислительные блоки. Архитектура Ada Lovelace включает тензорные ядра, оптимизированные для смешанной точности BF16/FP16 / FP8 — форматов, наиболее важных для современных трансформеров.

Реальная пропускная способность при обучении моделей масштабируется близко к теоретическим пикам при больших размерах пакетов; меньшие пакеты ограничены пропускной способностью памяти. Для инференса с низкой задержкой количество токенов в секунду на трансформерах, таких как Llama 70B, сильно зависит от стратегии квантизации — FP8/INT8 раскрывают потолок вычислительной мощности, FP16 ограничен пропускной способностью.

Check the NVIDIA GeForce RTX 4080 page for complete specifications and related GPU matchups.