NVIDIA GB200 Superchip는 BF16 및 FP8을 지원합니까?

답변

전체 NVIDIA GB200 Superchip 사양서는 다음과 같습니다: Blackwell 세대, 384 GB의 HBM3e VRAM, 16,000 GB/s 메모리 대역폭, 4,500 TFLOPS FP16, 150 TFLOPS FP32, 2,700W 전력 소모, 2024에 출시.

메모리는 대형 모델 실시간 서비스의 제약 조건인 경우가 많습니다 — 384 GB에서 NVIDIA GB200 Superchip는 FP16에서 중간 크기 트랜스포머를 편안하게 처리하며, FP8/INT8에서는 훨씬 더 큰 모델도 지원합니다. 16,000 GB/s 수치는 특히 KV 캐시 제한된 자기회귀 디코딩에서 중요하며, 여기서 메모리 대역폭이 토큰/초를 원시 컴퓨트보다 더 제한합니다.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.