NVIDIA GH200 Superchip는 데이터 센터용, 전문가용, 또는 소비자용 카드입니까?

답변

NVIDIA GH200 Superchip는 Hopper 아키텍처를 기반으로 하며, 96 GB의 HBM3 메모리와 4,000 GB/s 대역폭을 제공합니다. 2023에 출시된 이 카드는 989 FP16 TFLOPS와 494.5 FP32 TFLOPS를 제공하며, TDP는 700W입니다.

머신러닝 연구자에게 이 수치는 몇 가지 실질적인 한계로 해석됩니다: VRAM 한계는 로드할 수 있는 가장 큰 대형 언어 모델 가중치(및 주어진 시퀀스 길이에서 최대 배치 크기)를 결정하며, 메모리 대역폭은 어텐션이 많은 추론의 상한선을 설정합니다. 컴퓨트 처리량은 밀집 행렬 곱셈 — 사전 훈련, 대규모 배치 사전 훈련, 그리고 확산 작업에서 가장 중요합니다.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.