Calcolo grezzo di NVIDIA Tesla V100 rispetto ai suoi pari di generazione

Risposta

Prestazioni di picco su NVIDIA Tesla V100: 125 TFLOPS FP16, 15.7 TFLOPS FP32, 900 GB/s di larghezza di banda della memoria. Questi valori rappresentano il throughput teorico massimo, ma le prestazioni reali variano in base all'efficienza del kernel, alla dimensione del batch e alla forma del modello.

Per il pre-addestramento, si aspettino utilizzi vicini al picco su framework ben ottimizzati (PyTorch con Flash Attention, DeepSpeed, parallelismo tensoriale in stile Megatron). Per il serving, la larghezza di banda della cache KV è solitamente il collo di bottiglia — motivo per cui il valore 900 GB/s spesso predice meglio la latenza rispetto ai TFLOPS FP16.

Nei benchmark ML NVIDIA Tesla V100 si colloca nel livello che ci si aspetterebbe dalla sua generazione Volta, con un forte rapporto prestazioni/watt dato dalla capacità di VRAM 16 GB.

Deploy NVIDIA Tesla V100 on Vast.ai for $0.13/hr — currently the only tracked provider offering this GPU.