Sejauh mana NVIDIA GeForce RTX 3080 Ti boleh diskalakan merentasi pelbagai GPU?

Jawapan

Tajuk prestasi NVIDIA GeForce RTX 3080 Ti: 34.1 TFLOPS FP16, 17 TFLOPS FP32, 912 GB/s lebar jalur, 12 GB VRAM.

Ditukar kepada penanda aras praktikal: latihan model LLM 7B parameter dalam FP16 dengan saiz kelompok munasabah biasanya menyaturkan pengiraan sebelum lebar jalur; penyajian masa nyata pada model yang sama biasanya terikat lebar jalur dan mengikuti angka 912 GB/s. Penanda aras penjanaan imej difusi berada di antara kedua-duanya — langkah berat pengiraan menggunakan teras tensor dengan baik, manakala blok perhatian masih menggunakan lebar jalur.

See the NVIDIA GeForce RTX 3080 Ti page for the full spec sheet and comparisons to related GPUs.