Оренда NVIDIA GeForce RTX 3080 в хмарі

NVIDIA GeForce RTX 3080 має 10 ГБ GDDR6X з 760 ГБ/с пропускної здатності, забезпечує 29.8 TFLOPS обчислень FP16 і працює при 320 Вт. Вона базується на архітектурі Ampere, представленій у 2020.

Для більшості випадків використання ШІ це має три значення: 1) який розмір моделі можна завантажити; 2) наскільки швидко працює увага (обмежена пропускною здатністю); 3) наскільки швидко працюють операції, що інтенсивно використовують матричне множення (обмежені обчисленнями). NVIDIA GeForce RTX 3080 зазвичай знаходиться у збалансованій позиції за всіма трьома параметрами — саме тому вона часто зустрічається в хмарних каталогах, орієнтованих на команди машинного навчання.

Check the NVIDIA GeForce RTX 3080 page for complete specifications and related GPU matchups.

Сирі обчислення на NVIDIA GeForce RTX 3080 досягають піку в 29.8 FP16 TFLOPS і 14.9 FP32 TFLOPS, з 760 ГБ/с пропускної здатності пам’яті, що живить обчислювальні блоки. Архітектура Ampere пропонує тензорні ядра, оптимізовані для BF16/FP16 / FP8 змішаної точності — форматів, які найбільше важливі для сучасних трансформерів.

Пропускна здатність навчання моделей у реальному світі масштабуються близько до теоретичних піків при великих розмірах пакетів; менші пакети обмежені пам’яттю. Для низькозатримкового висновку кількість токенів за секунду на трансформерах, таких як Llama 70B, сильно залежить від стратегії квантизації — FP8/INT8 відкривають обчислювальний потенціал, FP16 обмежений пропускною здатністю.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.

NVIDIA GeForce RTX 3080 найкраще підходить для робочих навантажень, де його 10 ГБ VRAM та Ampere тензорних ядер добре збалансовані: Gaming, inference.

Якщо ваші робочі навантаження потребують значно більше пам’яті (наприклад, навчання моделей передового рівня з нуля), NVIDIA GeForce RTX 3080 є замалим, і вам знадобиться карта класу H100/H200/B200. Якщо потрібно менше (наприклад, обслуговування невеликих моделей на 7 млрд параметрів), дешевші карти, такі як L4 або RTX 4090, можуть бути більш економічними. Для середнього сегмента NVIDIA GeForce RTX 3080 зазвичай є розумним вибором.

See the NVIDIA GeForce RTX 3080 page for the full spec sheet and comparisons to related GPUs.