Quanto bene scala NVIDIA L4 su più GPU?

Risposta

121 TFLOPS FP16 e 300 GB/s di larghezza di banda della memoria collocano NVIDIA L4 chiaramente nella classe di acceleratori destinati ai carichi di lavoro moderni dei transformer. Il picco FP32 è di 30.3 TFLOPS, che gestisce comodamente la maggior parte del calcolo scientifico non AI.

Per l'addestramento da zero, la produttività di token segue approssimativamente i TFLOPS FP16. Per l'inferenza di produzione su modelli di base, la produttività segue la larghezza di banda. I numeri reali dipendono fortemente dallo stack del framework (PyTorch, TensorRT-LLM, vLLM) e possono variare dal 30 al 50% a seconda di quanto aggressivamente si quantizza.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.