Pronajmout NVIDIA GeForce RTX 3080 v cloudu

NVIDIA GeForce RTX 3080 obsahuje 10 GB GDDR6X s 760 GB/s propustností, poskytuje 29.8 TFLOPS výpočetního výkonu FP16 a pracuje při 320W. Je založena na architektuře Ampere, která byla představena v 2020.

Pro většinu případů použití AI to znamená tři věci: 1) jak velký model lze načíst; 2) jak rychle běží pozornost (omezená propustností); 3) jak rychle běží operace náročné na maticové násobení (omezené výpočetním výkonem). NVIDIA GeForce RTX 3080 se obvykle nachází v rovnovážném bodě ve všech třech aspektech — proto se často objevuje v cloudových katalozích určených pro týmy ML.

Check the NVIDIA GeForce RTX 3080 page for complete specifications and related GPU matchups.

Hrubý výpočetní výkon NVIDIA GeForce RTX 3080 dosahuje maxima 29.8 FP16 TFLOPS a 14.9 FP32 TFLOPS, s 760 GB/s paměťové propustnosti zásobující výpočetní jednotky. Architektura Ampere přináší tensorová jádra optimalizovaná pro BF16/FP16 / FP8 kombinovanou přesnost — formáty, které jsou nejdůležitější pro moderní transformery.

Skutečná propustnost tréninku modelů se na velkých dávkách blíží teoretickým maximům; menší dávky jsou omezeny pamětí. Pro nízkolatenční inferenci závisí počet tokenů za sekundu na transformerech jako Llama 70B silně na strategii kvantizace — FP8/INT8 odemykají výpočetní strop, FP16 je omezeno propustností.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.

NVIDIA GeForce RTX 3080 je nejlepší pro pracovní zátěže, kde jeho 10 GB VRAM a Ampere tensor jader jsou dobře sladěny: Gaming, inference.

Pokud vaše pracovní zátěž vyžaduje výrazně více paměti (např. trénování modelů na hranici možností od začátku), NVIDIA GeForce RTX 3080 je poddimenzovaný a budete chtít kartu třídy H100/H200/B200. Pokud potřebujete méně (např. malé nasazení na modelech s 7 miliardami parametrů), levnější karty jako L4 nebo RTX 4090 mohou být nákladově efektivnější. Pro střední pásmo je obvykle rozumnou volbou NVIDIA GeForce RTX 3080.

See the NVIDIA GeForce RTX 3080 page for the full spec sheet and comparisons to related GPUs.