Seberapa baik NVIDIA GeForce RTX 3080 Ti skalanya di beberapa GPU?
Jawaban
Judul performa NVIDIA GeForce RTX 3080 Ti: 34.1 TFLOPS FP16, 17 TFLOPS FP32, 912 GB/s bandwidth, 12 GB VRAM.
Dikonversi ke benchmark praktis: pelatihan model LLM 7B parameter dalam FP16 dengan ukuran batch wajar biasanya memaksimalkan komputasi sebelum bandwidth; penyajian waktu nyata pada model yang sama biasanya terikat bandwidth dan mengikuti angka 912 GB/s. Benchmark generasi gambar difusi berada di antara keduanya — langkah berat komputasi memanfaatkan tensor core dengan baik, sementara blok perhatian masih menggunakan bandwidth.
See the NVIDIA GeForce RTX 3080 Ti page for the full spec sheet and comparisons to related GPUs.