Jak dobře se NVIDIA GeForce RTX 3080 Ti škáluje přes více GPU?

Odpověď

Hlavní výkonové parametry NVIDIA GeForce RTX 3080 Ti: 34.1 FP16 TFLOPS, 17 FP32 TFLOPS, 912 GB/s propustnost, 12 GB VRAM.

Převedeno do praktických benchmarků: trénink modelu 7B parametrů LLM v FP16 s rozumnými velikostmi dávek obvykle saturuje výpočet před propustností; reálné nasazení na stejném modelu je obvykle omezeno propustností a sleduje hodnotu 912 GB/s. Benchmarky generování obrazů difuzí jsou mezi těmito dvěma — výpočetně náročné kroky dobře využívají tensorová jádra, zatímco attention bloky stále zatěžují propustnost.

See the NVIDIA GeForce RTX 3080 Ti page for the full spec sheet and comparisons to related GPUs.