Wie gut skaliert NVIDIA GeForce RTX 3080 Ti über mehrere GPUs?

Antwort

NVIDIA GeForce RTX 3080 Ti Leistungshighlight: 34.1 FP16 TFLOPS, 17 FP32 TFLOPS, 912 GB/s Bandbreite, 12 GB VRAM.

Umgesetzt in praktische Benchmarks: Modelltraining eines 7B-Parameter-LLM in FP16 mit vernünftigen Batch-Größen sättigt typischerweise die Rechenleistung vor der Bandbreite; Echtzeit-Serving beim selben Modell ist üblicherweise bandbreitenbegrenzt und folgt der 912 GB/s Zahl. Diffusionsbildgenerierungs-Benchmarks liegen dazwischen — rechenintensive Schritte nutzen Tensor-Kerne gut, während Attention-Blöcke weiterhin Bandbreite beanspruchen.

See the NVIDIA GeForce RTX 3080 Ti page for the full spec sheet and comparisons to related GPUs.