Czy NVIDIA GH200 Superchip jest wystarczająco dobry do produkcyjnego wnioskowania?

Odpowiedź

Krótka odpowiedź: NVIDIA GH200 Superchip działa z prędkością 989 TFLOPS FP16 przy przepustowości pamięci 4,000 GB/s. Dłuższa odpowiedź zależy od rodzaju uruchamianych zadań.

Dla gęstego treningu FP16 z dużymi wsadami NVIDIA GH200 Superchip nasyca rdzenie tensorowe i dostarcza przepustowość bliską szczytowym FLOPS. Dla obsługi ograniczonej przepustowością na modelach bazowych z długim kontekstem przepustowość jest decydująca — wartość 4,000 GB/s ma większe znaczenie niż szczytowe TFLOPS. Dla obliczeń naukowych istotna jest wartość FP32 494.5 TFLOPS, co plasuje NVIDIA GH200 Superchip zgodnie z oczekiwaniami HPC dla jego klasy Hopper.

Check the NVIDIA GH200 Superchip page for complete specifications and related GPU matchups.