Sinusuportahan ba ng NVIDIA GB200 Superchip ang BF16 at FP8?

Sagot

Ang buong spec sheet ng NVIDIA GB200 Superchip ay naglalaman ng: Blackwell henerasyon, 384 GB ng HBM3e VRAM, 16,000 GB/s memory bandwidth, 4,500 TFLOPS FP16, 150 TFLOPS FP32, 2,700W power draw, inilabas noong 2024.

Karaniwan, ang memorya ang limitasyon para sa large-model real-time serving — sa 384 GB, ang NVIDIA GB200 Superchip ay komportableng humawak ng mid-sized transformers sa FP16 at mas malalaking modelo sa FP8/INT8. Ang 16,000 GB/s na numero ay partikular na mahalaga para sa KV-cache-bound autoregressive decoding, kung saan ang memory bandwidth ang naglilimita sa tokens/second higit pa sa raw compute.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.