NVIDIA L40 bellek bağlı ve hesaplama bağlı iş yükleri

Cevap

NVIDIA L40 performans başlığı: 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, 864 GB/s bant genişliği, 48 GB VRAM.

Pratik kıyaslamalara dönüştürüldüğünde: 7 milyar parametreli bir LLM modeli FP16 ile makul toplu boyutlarda eğitildiğinde genellikle bant genişliğinden önce hesaplama doygunluğuna ulaşır; aynı modelde gerçek zamanlı servis genellikle bant genişliği sınırlıdır ve 864 GB/s rakamını takip eder. Difüzyon görüntü üretimi kıyaslamaları iki durum arasında yer alır — hesaplama ağırlıklı adımlar tensör çekirdeklerini iyi kullanırken, dikkat blokları hala bant genişliğine dokunur.

Check the NVIDIA L40 page for complete specifications and related GPU matchups.