Насколько быстро NVIDIA GeForce RTX 3070 для машинного обучения?

Ответ

NVIDIA GeForce RTX 3070 достигает 20.3 TFLOPS вычислений FP16 с 448 ГБ/с пропускной способности памяти и 8 ГБ видеопамяти. Пиковое значение FP32 составляет 10.2 TFLOPS.

Эти показатели помещают NVIDIA GeForce RTX 3070 в полезный диапазон производительности для задач генеративного ИИ: достаточно мощный для предобучения средних и крупных моделей за разумное время, с достаточной пропускной способностью для поддержания низкой задержки при обслуживании в реальном времени. Фактическое количество токенов в секунду или изображений в секунду варьируется в 2 раза в зависимости от фреймворка, квантизации и размера модели — всегда проводите бенчмарки с точным стеком, который планируете использовать.

The NVIDIA GeForce RTX 3070 page has the complete datasheet and side-by-side comparisons.