Ang NVIDIA GH200 Superchip ba ay data-center, professional, o consumer card?

Sagot

Ang NVIDIA GH200 Superchip ay nakabatay sa Hopper na arkitektura at may kasamang 96 GB ng HBM3 memorya na may 4,000 GB/s bandwidth. Inilabas noong 2023, ang card ay nagbibigay ng 989 FP16 TFLOPS at 494.5 FP32 TFLOPS sa 700W TDP.

Para sa mga mananaliksik sa machine learning, ang mga numerong ito ay naglalarawan ng ilang praktikal na limitasyon: ang VRAM ceiling ang nagdidikta ng pinakamalaking bigat ng large language model na maaari mong i-load (at ang maximum batch size sa isang tiyak na haba ng sequence), habang ang memory bandwidth ang nagtatakda ng pinakamataas na limitasyon para sa attention-heavy inference. Ang compute throughput ay pinakamahalaga para sa dense matrix multiplications — pre-training, large-batch pre-training, at diffusion.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.