NVIDIA GB200 Superchip 다중 GPU 환경에서의 확장성은 어느 정도인가요?

답변

NVIDIA GB200 Superchip 성능 요약: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 GB/s 대역폭, 384 GB VRAM.

실용적인 벤치마크로 변환하면: 7B 매개변수 LLM을 FP16으로 합리적인 배치 크기로 학습할 때 대역폭보다 계산이 먼저 포화됩니다; 같은 모델의 실시간 서빙은 보통 대역폭 제한이며 16,000 GB/s 수치를 따릅니다. 확산 이미지 생성 벤치마크는 두 가지 사이에 위치하며, 계산 집약 단계는 텐서 코어를 잘 활용하고, 어텐션 블록은 여전히 대역폭을 사용합니다.

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.