Sejauh mana NVIDIA GeForce RTX 3090 Ti boleh diskalakan merentasi pelbagai GPU?

Jawapan

Tajuk prestasi NVIDIA GeForce RTX 3090 Ti: 40 TFLOPS FP16, 20 TFLOPS FP32, 1,008 GB/s lebar jalur, 24 GB VRAM.

Ditukar kepada penanda aras praktikal: latihan model LLM 7B parameter dalam FP16 dengan saiz kelompok munasabah biasanya menyaturkan pengiraan sebelum lebar jalur; penyajian masa nyata pada model yang sama biasanya terikat lebar jalur dan mengikuti angka 1,008 GB/s. Penanda aras penjanaan imej difusi berada di antara kedua-duanya — langkah berat pengiraan menggunakan teras tensor dengan baik, manakala blok perhatian masih menggunakan lebar jalur.

Review full specs and related comparisons on the NVIDIA GeForce RTX 3090 Ti page.