NVIDIA L40 obciążenia ograniczone pamięcią vs obciążenia ograniczone obliczeniami

Odpowiedź

Nagłówek wydajności NVIDIA L40: 181 TFLOPS FP16, 90.5 TFLOPS FP32, 864 GB/s przepustowości, 48 GB pamięci VRAM.

Przekładając na praktyczne benchmarki: trening modelu LLM o 7 miliardach parametrów w FP16 z rozsądnymi rozmiarami wsadów zazwyczaj nasyca moc obliczeniową przed przepustowością; obsługa w czasie rzeczywistym tego samego modelu jest zwykle ograniczona przepustowością i odpowiada wartości 864 GB/s. Benchmarki generowania obrazów metodą dyfuzji plasują się pomiędzy tymi dwoma — etapy intensywnie obliczeniowe dobrze wykorzystują rdzenie tensorowe, podczas gdy bloki uwagi nadal korzystają z przepustowości.

Check the NVIDIA L40 page for complete specifications and related GPU matchups.