Hoe goed schaalt NVIDIA GeForce RTX 3080 Ti over meerdere GPU's?
Antwoord
NVIDIA GeForce RTX 3080 Ti prestatiehoogtepunt: 34.1 FP16 TFLOPS, 17 FP32 TFLOPS, 912 GB/s bandbreedte, 12 GB VRAM.
Omgezet in praktische benchmarks: modeltraining van een 7B-parameter LLM in FP16 met redelijke batchgroottes verzadigt meestal eerst de rekenkracht voor de bandbreedte; real-time serving op hetzelfde model is meestal bandbreedte-beperkt en volgt de 912 GB/s waarde. Diffusie beeldgeneratie benchmarks zitten tussen beide in — rekenintensieve stappen benutten tensor cores goed, terwijl attention blokken nog steeds bandbreedte gebruiken.
See the NVIDIA GeForce RTX 3080 Ti page for the full spec sheet and comparisons to related GPUs.