Чи швидший NVIDIA GeForce RTX 4080 за A100 для тонкого налаштування?

Відповідь

Сирі обчислення на NVIDIA GeForce RTX 4080 досягають піку в 48.7 FP16 TFLOPS і 24.4 FP32 TFLOPS, з 717 ГБ/с пропускної здатності пам’яті, що живить обчислювальні блоки. Архітектура Ada Lovelace пропонує тензорні ядра, оптимізовані для BF16/FP16 / FP8 змішаної точності — форматів, які найбільше важливі для сучасних трансформерів.

Пропускна здатність навчання моделей у реальному світі масштабуються близько до теоретичних піків при великих розмірах пакетів; менші пакети обмежені пам’яттю. Для низькозатримкового висновку кількість токенів за секунду на трансформерах, таких як Llama 70B, сильно залежить від стратегії квантизації — FP8/INT8 відкривають обчислювальний потенціал, FP16 обмежений пропускною здатністю.

Check the NVIDIA GeForce RTX 4080 page for complete specifications and related GPU matchups.