Аренда NVIDIA GeForce RTX 3070 в облаке

Выпущена в 2020, NVIDIA GeForce RTX 3070 — это ускоритель класса Ampere с 8 ГБ GDDR6, пропускной способностью памяти 448 ГБ/с и вычислительной мощностью 20.3 TFLOPS FP16. Пиковая производительность FP32 достигает 10.2 TFLOPS, а потребление энергии — до 220 Вт.

Практически это означает: достаточно видеопамяти для загрузки моделей примерно в диапазоне ~8 миллиардов параметров в FP16 (больше с квантизацией), достаточно пропускной способности, чтобы избежать «голодания» слоёв внимания, и достаточно вычислительной мощности для обучения трансформеров с размерами пакетов, которые насыщают современные оптимизаторы.

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.

NVIDIA GeForce RTX 3070 достигает 20.3 TFLOPS вычислений FP16 с 448 ГБ/с пропускной способности памяти и 8 ГБ видеопамяти. Пиковое значение FP32 составляет 10.2 TFLOPS.

Эти показатели помещают NVIDIA GeForce RTX 3070 в полезный диапазон производительности для задач генеративного ИИ: достаточно мощный для предобучения средних и крупных моделей за разумное время, с достаточной пропускной способностью для поддержания низкой задержки при обслуживании в реальном времени. Фактическое количество токенов в секунду или изображений в секунду варьируется в 2 раза в зависимости от фреймворка, квантизации и размера модели — всегда проводите бенчмарки с точным стеком, который планируете использовать.

The NVIDIA GeForce RTX 3070 page has the complete datasheet and side-by-side comparisons.

Сценарии, в которых NVIDIA GeForce RTX 3070 показывает хорошие результаты: Budget inference, gaming. Его 8 ГБ видеопамяти, Ampere тензорных ядер и позиционирование consumer делают его подходящим для команд ИИ, которым нужна аппаратная платформа уровня облака без переплаты за новейшие ускорители.

Хорошее практическое правило: если ваша модель помещается в 8 ГБ видеопамяти при целевой точности, а ваша нагрузка ограничена пропускной способностью или вычислениями, а не памятью, NVIDIA GeForce RTX 3070 скорее всего будет экономически выгоднее, чем переход на более высокий класс.

Review full specs and related comparisons on the NVIDIA GeForce RTX 3070 page.