Louer NVIDIA L40 dans le Cloud

Version courte de la fiche technique NVIDIA L40 : 48 Go GDDR6, 864 Go/s, 181 TFLOPS FP16, 90.5 TFLOPS FP32, Ada Lovelace (2023), 300W.

Version longue : la carte est optimisée pour la multiplication matricielle en précision mixte sur de grands tenseurs, ce qui correspond exactement aux exigences de l'entraînement et de l'inférence en production des transformateurs. La bande passante est suffisamment généreuse pour éviter les blocages lors des opérations d'attention, et la capacité VRAM couvre les tailles de modèles modernes sans nécessiter de déchargement vers la mémoire CPU.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.

Titre de performance NVIDIA L40 : 181 TFLOPS FP16, 90.5 TFLOPS FP32, 864 GB/s de bande passante, 48 GB de VRAM.

Converti en benchmarks pratiques : l’entraînement d’un LLM de 7 milliards de paramètres en FP16 avec des tailles de lots raisonnables sature généralement le calcul avant la bande passante ; le service temps réel sur le même modèle est habituellement limité par la bande passante et suit la valeur 864 GB/s. Les benchmarks de génération d’images par diffusion se situent entre les deux — les étapes intensives en calcul utilisent bien les cœurs tensoriels, tandis que les blocs d’attention sollicitent encore la bande passante.

Check the NVIDIA L40 page for complete specifications and related GPU matchups.

NVIDIA L40 est idéal pour les charges de travail où ses 48 Go de VRAM et Ada Lovelace cœurs tensoriels sont bien adaptés : Inference, video processing, rendering.

Si votre charge de travail nécessite beaucoup plus de mémoire (par exemple, l'entraînement de modèles de pointe à partir de zéro), NVIDIA L40 est sous-dimensionné et vous préférerez une carte de classe H100/H200/B200. Si votre charge de travail nécessite moins (par exemple, un service à petite échelle sur des modèles de 7 milliards de paramètres), des cartes moins coûteuses comme la L4 ou la RTX 4090 peuvent être plus rentables. Pour la gamme intermédiaire, NVIDIA L40 est généralement le choix judicieux.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.