Аренда NVIDIA GeForce RTX 3080 Ti в облаке

NVIDIA GeForce RTX 3080 Ti построена на архитектуре Ampere и поставляется с 12 ГБ GDDR6X памяти с пропускной способностью 912 ГБ/с. Выпущена в 2021, карта обеспечивает 34.1 TFLOPS FP16 и 17 TFLOPS FP32 при TDP 350 Вт.

Для исследователей в области машинного обучения эти показатели переводятся в несколько практических ограничений: потолок видеопамяти диктует максимальный размер весов крупной языковой модели, которую можно загрузить (и максимальный размер пакета при заданной длине последовательности), а пропускная способность памяти устанавливает верхнюю границу для инференса с интенсивным вниманием. Вычислительная пропускная способность важна прежде всего для плотных матричных умножений — предварительного обучения, обучения с большими пакетами и диффузионных моделей.

Check the NVIDIA GeForce RTX 3080 Ti page for complete specifications and related GPU matchups.

Основные показатели производительности NVIDIA GeForce RTX 3080 Ti: 34.1 FP16 TFLOPS, 17 FP32 TFLOPS, 912 ГБ/с пропускной способности, 12 ГБ видеопамяти.

В практических бенчмарках: обучение модели LLM с 7 миллиардами параметров в FP16 с разумными размерами пакетов обычно насыщает вычисления раньше, чем пропускную способность; обслуживание в реальном времени той же модели обычно ограничено пропускной способностью и соответствует показателю 912 ГБ/с. Бенчмарки генерации изображений методом диффузии находятся между этими двумя — вычислительно интенсивные этапы хорошо используют тензорные ядра, а блоки внимания всё ещё задействуют пропускную способность.

See the NVIDIA GeForce RTX 3080 Ti page for the full spec sheet and comparisons to related GPUs.

NVIDIA GeForce RTX 3080 Ti выделяется для Gaming, inference. Его 12 ГБ видеопамяти и тензорные ядра поколения Ampere делают его отличным выбором для задач ИИ, требующих больших размеров пакетов и выгод от поддержки современного смешанного точного формата.

Он избыточен для простых экспериментов и недостаточен для крупнейших передовых моделей, но покрывает широкий средний сегмент: тонкая настройка открытых трансформеров, обучение диффузионных моделей, пакетное обслуживание в реальном времени и поддержка интерактивных рабочих процессов, которым требуется больше видеопамяти, чем у потребительских карт.

Check the NVIDIA GeForce RTX 3080 Ti page for complete specifications and related GPU matchups.