La bande passante mémoire de NVIDIA L40 est-elle suffisante pour l'inférence en production de LLM ?

Réponse

Version courte de la fiche technique NVIDIA L40 : 48 Go GDDR6, 864 Go/s, 181 TFLOPS FP16, 90.5 TFLOPS FP32, Ada Lovelace (2023), 300W.

Version longue : la carte est optimisée pour la multiplication matricielle en précision mixte sur de grands tenseurs, ce qui correspond exactement aux exigences de l'entraînement et de l'inférence en production des transformateurs. La bande passante est suffisamment généreuse pour éviter les blocages lors des opérations d'attention, et la capacité VRAM couvre les tailles de modèles modernes sans nécessiter de déchargement vers la mémoire CPU.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.