NVIDIA B300 ile En İyi Bulut GPU Sağlayıcıları

NVIDIA B300 Aslında Nedir

B300, NVIDIA’nın Blackwell Ultra veri merkezi GPU’sudur; aynı Blackwell neslinde orijinal B200’ün üzerinde yer alan ara dönem yenilemedir. Büyük ölçekli akıl yürütme modelleri ve trilyon parametreli çıkarım çağı için tasarlanmıştır ve yukarıdaki karşılaştırmada filtrelediğiniz GPU budur. Bir B300 örneği kiraladığınızda, şu anda üretim AI için mevcut en yetenekli tek hızlandırıcılardan birini kiralamış olursunuz, bu yüzden saatlik ücret taahhüdünde bulunmadan önce bu donanımın size ne sunduğunu anlamak faydalıdır.

Kiracılar için önemli olan temel rakamlar somut ve doğrulanabilirdir:

• GPU başına 288 GB HBM3e bellek, 12 katmanlı yığınlar aracılığıyla sunulur — 192 GB B200’e kıyasla yaklaşık %50 kapasite artışı.
• Yaklaşık 8 TB/s bellek bant genişliği, dikkat yoğun ve bellek sınırlandırılmış iş yükleri sırasında çok büyük paket içi belleğin beslenmesini sağlar.
• Yaklaşık GPU başına 15 petaFLOPS yoğun FP4 hesaplama gücü, 640 beşinci nesil Tensor Çekirdeği ve 20.480 CUDA çekirdeği tarafından desteklenir.
• FP4, FP8, BF16 ve FP16 dahil olmak üzere düşük hassasiyetli AI formatları için yerel destek, modern çıkarımın dayandığı dar hassasiyetleri yöneten ikinci nesil Transformer Motoru ile birlikte.
• GPU başına yaklaşık 1.400 W yüksek güç sınırı, bu nedenle B300 dağıtımları neredeyse her zaman gevşek PCIe kartları yerine sıvı soğutmalı raf sistemleridir.

Bağlantı ve çoklu GPU ölçeklendirmesi

Tek bir B300 güçlüdür, ancak tasarım varsayımı nadiren sadece bir tane kullanmanızdır. Her GPU, toplam yaklaşık 1,8 TB/s bant genişliğine sahip beşinci nesil NVLink taşır ve GB300 NVL72 raf ölçeği formunda, 72 Blackwell Ultra GPU, 36 Grace CPU ile eşleştirilir ve HBM3e’leri NVLink ağı üzerinden tek bir tutarlı bellek havuzu olarak birleştirilir. Kiracılar için pratik sonuçlar şunlardır:

• Çoklu GPU ve çoklu düğüm B300 tahsisleri, ayrı kartlardan oluşan bir küme gibi değil, tek çok büyük bir hızlandırıcı gibi davranır; bu da devasa modellerin sunulmasını ve eğitilmesini mümkün kılar.
• Modeliniz birden fazla GPU’ya yayılıyorsa, bağlantı — ham GPU başına FLOPS değil — gerçek verimliliği belirler, bu yüzden bir liste gerçek NVLink bağlantılı GPU’lar mı yoksa sadece bir kutuda birkaç PCIe kartı mı sunduğunu kontrol etmek faydalıdır.
• GPU başına 288 GB, daha önce birden fazla karta bölünmesi gereken birçok modelin artık daha az GPU’da sığmasını sağlar, iletişim yükünü ve bazen toplam maliyeti düşürür.

B300’ün gerçekten uyduğu iş yükleri

B300, modern AI’nın en ağır uçları için özel olarak tasarlanmıştır ve güçlü yönleri ile uyumsuzlukları oldukça nettir.

Başarı gösterdiği alanlar

• Büyük model ve akıl yürütme modeli çıkarımı: büyük HBM3e kapasitesi ve FP4 verimi, dikkat performansı ve bellek boşluğu baskın olan uzun bağlamlı, yüksek eşzamanlılıkta öncü ve akıl yürütme modellerinin sunumu için özel olarak ayarlanmıştır.
• Çok büyük modellerin eğitimi ve ince ayarı: trilyon parametreli ve uzman karışımı eğitim, bellek kapasitesi, bant genişliği ve NVLink ölçeklendirmesinden faydalanır.
• Yüksek verimli toplu çıkarım: istekleri agresif şekilde toplu işleyebildiğinizde, FP4/FP8 yürütme B300’ün hesaplama süresi başına muazzam token hacimlerini itmesini sağlar.

Aşırı olduğu alanlar

• 24–80 GB VRAM içinde rahatça sığan küçük veya orta boy modeller, bir B300’ü tam kapasiteyle kullanamaz ve kullanamayacağınız kapasite için yüksek ücret ödersiniz.
• Makul boyuttaki bir modelin tek akışlı, düşük toplu gerçek zamanlı çıkarımı genellikle daha küçük, daha ucuz hızlandırıcılarla daha iyi karşılanır.
• Render, simülasyon ve klasik HPC B300’de çalışabilir, ancak iş gerçekten bellek aç veya hassasiyet esnekliği gerektirmedikçe, daha mütevazı kartlar daha iyi değer sunar.

Kiralama bağlamı: maliyet, bulunabilirlik ve kıtlık

B300, güncel nesil amiral gemisi silikon olduğu için bulut GPU maliyet spektrumunun en üstünde yer alır — yukarıdaki listede saatlik en pahalı seçeneklerden biri olmasını bekleyin, önceki nesil Hopper sınıfı kartlardan çok daha pahalıdır. Kesin fiyatlar sürekli değişir ve sağlayıcılar arasında farklılık gösterir, bu yüzden yukarıdaki canlı karşılaştırmayı okuduğunuz herhangi bir yazılı rakamdan daha doğru kaynak olarak kabul edin.

Planlama yaparken dikkate alınması gereken birkaç kiralama gerçeği vardır:

• Kıtlık: yeni çıkan üst düzey GPU’lar genellikle kapasite kısıtlaması yaşar. Talep üzerine bulunabilirlik sınırlı olabilir ve anında tıklama ile başlatma yerine rezervasyon, minimum taahhüt veya bekleme listesi gereksinimleriyle karşılaşabilirsiniz.
• Spot ve talep üzerine: sunuluyorsa kesintiye uğrayabilir veya spot B300 kapasitesi maliyetleri anlamlı şekilde düşürebilir, ancak bu, kesitlenmiş eğitim ve hata toleranslı toplu işler için uygundur; gecikmeye duyarlı üretim sunumu için daha az uygundur.
• Tam raf ve kısmi: bazı teklifler büyük kümeler için raf ölçeğinde GB300 sistemleri sunarken, diğerleri bireysel GPU’ları açığa çıkarır — gerçek iş yükünüze uygun granülerliği seçin, böylece bir modeli sunmak için 72 GPU kiralamamış olursunuz.
• Çevresel özellikler: CPU, sistem belleği, yerel NVMe ve ağ bant genişliği sağlayıcıya göre değişir ve hızlı bir GPU’yu darboğaza sokabilir, bu yüzden sadece GPU etiketi yerine tam örneği karşılaştırın.

Sıkça sorulan sorular

Bir B300 ne kadar belleğe sahiptir ve kiralama için neden önemlidir?

Her B300, yaklaşık 8 TB/s bant genişliğine sahip 288 GB HBM3e sağlar. Bu büyük ve hızlı bellek havuzu, daha uzun bağlamları ve daha büyük modelleri daha az GPU’da sunmanıza olanak tanır, bu da doğrudan kaç örnek — ve dolayısıyla kaç saat — ödemeniz gerektiğini azaltabilir.

B300, B200 veya H100’e kıyasla kiralamaya değer mi?

Ölçeğe bağlıdır. Öncü ölçekli eğitim ve yüksek eşzamanlılıkta akıl yürütme çıkarımı için B300’ün ekstra belleği, FP4 verimi ve dikkat performansı primi haklı çıkarır. Daha küçük modeller veya mütevazı sunum için genellikle B200 veya Hopper sınıfı H100 daha maliyet-etkindir, bu yüzden tabloda saatlik oranları gerçek model boyutunuzla karşılaştırın.

Tek bir B300 kiralayabilir miyim yoksa sadece tam sistemler mi?

Her iki model de piyasada mevcuttur. Bazı sağlayıcılar bireysel NVLink bağlantılı GPU’ları sunarken, diğerleri büyük kümeler için tüm GB300 NVL72 raflarını kiralar. Yukarıdaki karşılaştırmadaki listeyi kontrol edin ve birden fazla GPU’nun gerçekten NVLink ile bağlı mı yoksa sadece PCIe üzerinde yan yana mı olduğunu doğrulayın.

B300 kapasitesi talep üzerine kolayca bulunabilir mi?

Her zaman değil. Güncel nesil amiral gemisi donanım olduğu için genellikle yüksek talep görür, bu yüzden talep üzerine slotlar kıt olabilir ve bazı erişimler rezervasyon bazlıdır. İş yükünüz kesintiye dayanabiliyorsa, spot veya öncelikli kapasite bulunabilirliği ve maliyeti kolaylaştırabilir.