Чи швидший NVIDIA GeForce RTX 3080 за A100 для тонкого налаштування?

Відповідь

Сирі обчислення на NVIDIA GeForce RTX 3080 досягають піку в 29.8 FP16 TFLOPS і 14.9 FP32 TFLOPS, з 760 ГБ/с пропускної здатності пам’яті, що живить обчислювальні блоки. Архітектура Ampere пропонує тензорні ядра, оптимізовані для BF16/FP16 / FP8 змішаної точності — форматів, які найбільше важливі для сучасних трансформерів.

Пропускна здатність навчання моделей у реальному світі масштабуються близько до теоретичних піків при великих розмірах пакетів; менші пакети обмежені пам’яттю. Для низькозатримкового висновку кількість токенів за секунду на трансформерах, таких як Llama 70B, сильно залежить від стратегії квантизації — FP8/INT8 відкривають обчислювальний потенціал, FP16 обмежений пропускною здатністю.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.