Sewa NVIDIA GeForce RTX 3080 di Awan

NVIDIA GeForce RTX 3080 mengandungi 10 GB GDDR6X dengan lebar jalur 760 GB/s, memberikan 29.8 TFLOPS pengiraan FP16, dan beroperasi pada 320W. Ia berasaskan seni bina Ampere yang diperkenalkan pada 2020.

Untuk kebanyakan kes penggunaan AI, ini penting dalam tiga cara: 1) saiz model yang boleh dimuatkan; 2) kelajuan operasi perhatian (terhad oleh lebar jalur); 3) kelajuan operasi berat MatMul (terhad oleh pengiraan). NVIDIA GeForce RTX 3080 biasanya berada di posisi seimbang dalam ketiga-tiga aspek — sebab itulah ia sering muncul dalam katalog awan yang ditujukan kepada pasukan ML.

Check the NVIDIA GeForce RTX 3080 page for complete specifications and related GPU matchups.

Pengiraan mentah pada NVIDIA GeForce RTX 3080 mencapai puncak pada 29.8 TFLOPS FP16 dan 14.9 TFLOPS FP32, dengan 760 GB/s lebar jalur memori membekalkan unit pengiraan. Seni bina Ampere membawa teras tensor yang dioptimumkan untuk ketepatan campuran BF16/FP16 / FP8 — format yang paling penting untuk transformer moden.

Hasil latihan model dunia nyata berskala hampir ke puncak teori pada saiz kelompok besar; kelompok kecil terikat memori. Untuk inferens berlatensi rendah, token sesaat pada transformer seperti Llama 70B sangat bergantung pada strategi kuantisasi — FP8/INT8 membuka had pengiraan, FP16 terikat lebar jalur.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.

NVIDIA GeForce RTX 3080 paling sesuai untuk beban kerja di mana 10 GB VRAM dan Ampere teras tensornya sepadan dengan baik: Gaming, inference.

Jika beban kerja anda memerlukan memori yang jauh lebih banyak (contohnya, latihan model frontier dari awal), NVIDIA GeForce RTX 3080 adalah terlalu kecil dan anda perlu kad kelas H100/H200/B200. Jika beban kerja anda memerlukan kurang (contohnya, perkhidmatan skala kecil pada model 7B-parameter), kad yang lebih murah seperti L4 atau RTX 4090 mungkin lebih menjimatkan kos. Untuk julat pertengahan, NVIDIA GeForce RTX 3080 biasanya pilihan yang munasabah.

See the NVIDIA GeForce RTX 3080 page for the full spec sheet and comparisons to related GPUs.