Аренда NVIDIA GeForce RTX 3080 в облаке

NVIDIA GeForce RTX 3080 оснащена 10 ГБ GDDR6X с пропускной способностью 760 ГБ/с, обеспечивает 29.8 TFLOPS вычислений FP16 и потребляет 320 Вт. Она основана на архитектуре Ampere, представленной в 2020.

Для большинства задач ИИ это важно в трёх аспектах: 1) какой размер модели можно загрузить; 2) насколько быстро работает внимание (ограничено пропускной способностью); 3) насколько быстро выполняются операции, интенсивно использующие матричные умножения (ограничены вычислениями). NVIDIA GeForce RTX 3080 обычно занимает сбалансированное положение по всем трём параметрам — именно поэтому она часто встречается в облачных каталогах, ориентированных на команды машинного обучения.

Check the NVIDIA GeForce RTX 3080 page for complete specifications and related GPU matchups.

Пиковая вычислительная мощность NVIDIA GeForce RTX 3080 достигает 29.8 FP16 TFLOPS и 14.9 FP32 TFLOPS, с пропускной способностью памяти 760 ГБ/с, питающей вычислительные блоки. Архитектура Ampere включает тензорные ядра, оптимизированные для смешанной точности BF16/FP16 / FP8 — форматов, наиболее важных для современных трансформеров.

Реальная пропускная способность при обучении моделей масштабируется близко к теоретическим пикам при больших размерах пакетов; меньшие пакеты ограничены пропускной способностью памяти. Для инференса с низкой задержкой количество токенов в секунду на трансформерах, таких как Llama 70B, сильно зависит от стратегии квантизации — FP8/INT8 раскрывают потолок вычислительной мощности, FP16 ограничен пропускной способностью.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.

NVIDIA GeForce RTX 3080 лучше всего подходит для задач, где его 10 ГБ видеопамяти и Ampere тензорных ядер хорошо сбалансированы: Gaming, inference.

Если вашей задаче требуется значительно больше памяти (например, обучение передовых моделей с нуля), NVIDIA GeForce RTX 3080 будет недостаточно, и вам нужна карта класса H100/H200/B200. Если требуется меньше (например, небольшое обслуживание моделей с 7 миллиардами параметров), более дешёвые карты, такие как L4 или RTX 4090, могут быть экономически эффективнее. Для среднего сегмента NVIDIA GeForce RTX 3080 обычно является разумным выбором.

See the NVIDIA GeForce RTX 3080 page for the full spec sheet and comparisons to related GPUs.