Wie gut skaliert NVIDIA GeForce RTX 3090 Ti über mehrere GPUs?

Antwort

NVIDIA GeForce RTX 3090 Ti Leistungshighlight: 40 FP16 TFLOPS, 20 FP32 TFLOPS, 1,008 GB/s Bandbreite, 24 GB VRAM.

Umgesetzt in praktische Benchmarks: Modelltraining eines 7B-Parameter-LLM in FP16 mit vernünftigen Batch-Größen sättigt typischerweise die Rechenleistung vor der Bandbreite; Echtzeit-Serving beim selben Modell ist üblicherweise bandbreitenbegrenzt und folgt der 1,008 GB/s Zahl. Diffusionsbildgenerierungs-Benchmarks liegen dazwischen — rechenintensive Schritte nutzen Tensor-Kerne gut, während Attention-Blöcke weiterhin Bandbreite beanspruchen.

Review full specs and related comparisons on the NVIDIA GeForce RTX 3090 Ti page.