Jak dobře se NVIDIA GeForce RTX 3090 Ti škáluje přes více GPU?
Odpověď
Hlavní výkonové parametry NVIDIA GeForce RTX 3090 Ti: 40 FP16 TFLOPS, 20 FP32 TFLOPS, 1,008 GB/s propustnost, 24 GB VRAM.
Převedeno do praktických benchmarků: trénink modelu 7B parametrů LLM v FP16 s rozumnými velikostmi dávek obvykle saturuje výpočet před propustností; reálné nasazení na stejném modelu je obvykle omezeno propustností a sleduje hodnotu 1,008 GB/s. Benchmarky generování obrazů difuzí jsou mezi těmito dvěma — výpočetně náročné kroky dobře využívají tensorová jádra, zatímco attention bloky stále zatěžují propustnost.
Review full specs and related comparisons on the NVIDIA GeForce RTX 3090 Ti page.