Umuupa ng NVIDIA GH200 Superchip sa Cloud

Ang NVIDIA GH200 Superchip ay nakabatay sa Hopper na arkitektura at may kasamang 96 GB ng HBM3 memorya na may 4,000 GB/s bandwidth. Inilabas noong 2023, ang card ay nagbibigay ng 989 FP16 TFLOPS at 494.5 FP32 TFLOPS sa 700W TDP.

Para sa mga mananaliksik sa machine learning, ang mga numerong ito ay naglalarawan ng ilang praktikal na limitasyon: ang VRAM ceiling ang nagdidikta ng pinakamalaking bigat ng large language model na maaari mong i-load (at ang maximum batch size sa isang tiyak na haba ng sequence), habang ang memory bandwidth ang nagtatakda ng pinakamataas na limitasyon para sa attention-heavy inference. Ang compute throughput ay pinakamahalaga para sa dense matrix multiplications — pre-training, large-batch pre-training, at diffusion.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.

Ang maikling sagot: ang NVIDIA GH200 Superchip ay tumatakbo sa 989 FP16 TFLOPS na may 4,000 GB/s ng memory bandwidth. Ang mas mahabang sagot ay depende sa iyong pinapatakbo.

Para sa dense FP16 training na may malalaking batch, ang NVIDIA GH200 Superchip ay nagsasaturate ng tensor cores at nagbibigay ng throughput na malapit sa peak FLOPS. Para sa memory-bound serving sa mga long-context foundation models, ang bandwidth ang nangingibabaw — ang 4,000 GB/s na numero ay mas mahalaga kaysa sa headline TFLOPS. Para sa scientific computing, ang FP32 sa 494.5 TFLOPS ang mahalagang numero at inilalagay ang NVIDIA GH200 Superchip sa linya ng mga inaasahan sa HPC ng kanyang Hopper klase.

Check the NVIDIA GH200 Superchip page for complete specifications and related GPU matchups.

Mga gamit kung saan mahusay ang NVIDIA GH200 Superchip: Large-scale AI training, HPC. Ang 96 GB ng VRAM ng card, Hopper tensor cores, at data-center na positioning ay angkop para sa mga AI team na nangangailangan ng cloud-grade hardware nang hindi kailangang magbayad ng premium para sa pinakabagong accelerators.

Isang magandang panuntunan: kung ang iyong modelo ay kasya sa 96 GB ng VRAM sa iyong target na precision, at ang iyong workload ay bandwidth- o compute-bound kaysa memory-bound, malamang na mas magandang ekonomikal na pagpipilian ang NVIDIA GH200 Superchip kaysa mag-upgrade sa mas mataas na tier.

Review full specs and related comparisons on the NVIDIA GH200 Superchip page.