Наскільки швидкий NVIDIA GeForce RTX 3070 для машинного навчання?

Відповідь

NVIDIA GeForce RTX 3070 досягає 20.3 TFLOPS обчислень FP16 з 448 ГБ/с пропускної здатності пам’яті та 8 ГБ VRAM. FP32 досягає піку в 10.2 TFLOPS.

Ці показники ставлять NVIDIA GeForce RTX 3070 у корисний діапазон продуктивності для генеративного ШІ: достатньо потужний для попереднього навчання середніх і великих моделей у розумний час, з достатньою пропускною здатністю для підтримки низької затримки обслуговування в реальному часі. Фактична кількість токенів за секунду або зображень за секунду варіюється в 2 рази залежно від фреймворку, квантизації та розміру моделі — завжди тестуйте з точною стеком, який плануєте використовувати.

The NVIDIA GeForce RTX 3070 page has the complete datasheet and side-by-side comparisons.