Computación bruta de NVIDIA Tesla V100 versus sus pares de generación

Respuesta

Rendimiento máximo en NVIDIA Tesla V100: 125 TFLOPS FP16, 15.7 TFLOPS FP32, 900 GB/s de ancho de banda de memoria. Esas cifras limitan el rendimiento teórico, pero el rendimiento real varía según la eficiencia del kernel, el tamaño del lote y la forma del modelo.

Para preentrenamiento, espere una utilización cercana al pico en frameworks bien optimizados (PyTorch con Flash Attention, DeepSpeed, paralelismo tensorial estilo Megatron). Para servicio, el ancho de banda de la caché KV suele ser el cuello de botella — por eso la cifra de 900 GB/s a menudo predice mejor la latencia que los TFLOPS FP16.

En benchmarks de ML, NVIDIA Tesla V100 se sitúa en el nivel esperado de su generación Volta, con un rendimiento por watt fuerte dado la capacidad de VRAM de 16 GB.

Deploy NVIDIA Tesla V100 on Vast.ai for $0.13/hr — currently the only tracked provider offering this GPU.