NVIDIA L40 内存受限与计算受限的工作负载
答案
NVIDIA L40 性能亮点：181 FP16 TFLOPS，90.5 FP32 TFLOPS，864 GB/s 带宽，48 GB 显存。
转化为实际基准：以合理批量大小进行的 7B 参数 LLM FP16 训练通常先饱和计算资源；同一模型的实时推理通常受带宽限制，表现与 864 GB/s 数值相关。扩散图像生成基准介于两者之间——计算密集步骤充分利用张量核心，注意力模块仍受带宽影响。
Check the NVIDIA L40 page for complete specifications and related GPU matchups.