Hoe goed schaalt NVIDIA GeForce RTX 3090 Ti over meerdere GPU's?
Antwoord
NVIDIA GeForce RTX 3090 Ti prestatiehoogtepunt: 40 FP16 TFLOPS, 20 FP32 TFLOPS, 1,008 GB/s bandbreedte, 24 GB VRAM.
Omgezet in praktische benchmarks: modeltraining van een 7B-parameter LLM in FP16 met redelijke batchgroottes verzadigt meestal eerst de rekenkracht voor de bandbreedte; real-time serving op hetzelfde model is meestal bandbreedte-beperkt en volgt de 1,008 GB/s waarde. Diffusie beeldgeneratie benchmarks zitten tussen beide in — rekenintensieve stappen benutten tensor cores goed, terwijl attention blokken nog steeds bandbreedte gebruiken.
Review full specs and related comparisons on the NVIDIA GeForce RTX 3090 Ti page.