Alugar NVIDIA L40 na Nuvem

Versão resumida da ficha técnica NVIDIA L40: 48 GB GDDR6, 864 GB/s, 181 TFLOPS FP16, 90.5 TFLOPS FP32, Ada Lovelace (2023), 300W.

Versão longa: a placa é otimizada para multiplicação matricial de precisão mista em tensores grandes, que é exatamente o que o treinamento e a inferência em produção de transformadores demandam. A largura de banda é generosa o suficiente para evitar interrupções nas operações de atenção, e a capacidade de VRAM cobre tamanhos modernos de modelos sem necessidade de descarregamento para a memória da CPU.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.

Destaque de desempenho NVIDIA L40: 181 TFLOPS FP16, 90.5 TFLOPS FP32, 864 GB/s de largura de banda, 48 GB de VRAM.

Convertido em benchmarks práticos: treinamento de modelo LLM de 7 bilhões de parâmetros em FP16 com tamanhos de lote razoáveis normalmente satura a computação antes da largura de banda; serving em tempo real no mesmo modelo geralmente é limitado pela largura de banda e acompanha o número 864 GB/s. Benchmarks de geração de imagens por difusão ficam entre os dois — etapas pesadas em computação utilizam bem os núcleos tensor, enquanto blocos de atenção ainda acessam a largura de banda.

Check the NVIDIA L40 page for complete specifications and related GPU matchups.

NVIDIA L40 é melhor para cargas de trabalho onde seus 48 GB de VRAM e Ada Lovelace núcleos tensor são bem equilibrados: Inference, video processing, rendering.

Se sua carga de trabalho precisa de significativamente mais memória (por exemplo, treinamento de modelos de ponta do zero), NVIDIA L40 é pequeno demais e você vai querer uma placa da classe H100/H200/B200. Se sua carga de trabalho precisa de menos (por exemplo, atendimento em pequena escala em modelos de 7 bilhões de parâmetros), placas mais baratas como L4 ou RTX 4090 podem ser mais econômicas. Para a faixa intermediária, NVIDIA L40 geralmente é a escolha sensata.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.