Чи швидший NVIDIA GeForce RTX 3070 Ti за A100 для тонкого налаштування?

Відповідь

Сирі обчислення на NVIDIA GeForce RTX 3070 Ti досягають піку в 21.7 FP16 TFLOPS і 10.8 FP32 TFLOPS, з 608 ГБ/с пропускної здатності пам’яті, що живить обчислювальні блоки. Архітектура Ampere пропонує тензорні ядра, оптимізовані для BF16/FP16 / FP8 змішаної точності — форматів, які найбільше важливі для сучасних трансформерів.

Пропускна здатність навчання моделей у реальному світі масштабуються близько до теоретичних піків при великих розмірах пакетів; менші пакети обмежені пам’яттю. Для низькозатримкового висновку кількість токенів за секунду на трансформерах, таких як Llama 70B, сильно залежить від стратегії квантизації — FP8/INT8 відкривають обчислювальний потенціал, FP16 обмежений пропускною здатністю.

Review full specs and related comparisons on the NVIDIA GeForce RTX 3070 Ti page.