NVIDIA GB200 Superchip BF16 ve FP8 destekliyor mu?

Cevap

Tam NVIDIA GB200 Superchip teknik özellik sayfası şöyle der: Blackwell nesil, 384 GB HBM3e VRAM, 16,000 GB/s bellek bant genişliği, 4,500 TFLOPS FP16, 150 TFLOPS FP32, 2,700W güç tüketimi, 2024 tarihinde piyasaya sürülmüştür.

Büyük model gerçek zamanlı servisi için bellek genellikle sınırlayıcıdır — 384 GB ile NVIDIA GB200 Superchip, FP16'da orta boy transformerları ve FP8/INT8'de çok daha büyük modelleri rahatlıkla çalıştırır. 16,000 GB/s rakamı, özellikle KV-cache sınırlandırılmış otoregresif çözümlemede önemlidir; burada bellek bant genişliği, saniyedeki token sayısını ham hesaplamadan daha fazla sınırlar.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.