NVIDIA Tesla V100의 원시 연산 성능과 동세대 제품 비교

답변

NVIDIA Tesla V100의 최고 성능: 125 FP16 TFLOPS, 15.7 FP32 TFLOPS, 900 GB/s 메모리 대역폭. 이 수치는 이론적 처리량의 상한을 나타내지만, 실제 성능은 커널 효율성, 배치 크기, 모델 형태에 따라 달라집니다.

사전 학습에서는 최적화된 프레임워크(PyTorch의 Flash Attention, DeepSpeed, Megatron 스타일 텐서 병렬화)에서 거의 최고 활용률을 기대할 수 있습니다. 서빙에서는 KV 캐시 대역폭이 보통 병목 현상이며 — 그래서 900 GB/s 수치가 FP16 TFLOPS보다 지연 시간을 더 잘 예측합니다.

ML 벤치마크에서 NVIDIA Tesla V100는 Volta 세대에서 기대되는 계층에 위치하며, 16 GB VRAM 용량 덕분에 와트당 성능도 우수합니다.

Deploy NVIDIA Tesla V100 on Vast.ai for $0.13/hr — currently the only tracked provider offering this GPU.