NVIDIA GH200 ile En İyi Bulut GPU Sağlayıcıları

NVIDIA GH200 Grace Hopper Süperçipi aslında nedir

GH200, geleneksel bir ek kart GPU değildir. Bu, NVIDIA Hopper nesli H100 sınıfı GPU ile 72 çekirdekli Arm Neoverse tabanlı Grace CPU’yu tek bir modülde birleştiren bir süperçiptir; CPU ve GPU’yu standart PCIe yuvasından çok daha yüksek bant genişliğinde bağlayan NVLink-C2C — tutarlı bir çipler arası bağlantı ile birleştirilmiştir. Yukarıdaki karşılaştırmadan bir GH200 örneği kiraladığınızda, sadece başka birinin ana CPU’suna takılan bir GPU değil, tüm CPU+GPU paketini kiralamış olursunuz.

Bu mimari tüm noktadır. Çünkü Grace CPU ve Hopper GPU, NVLink-C2C üzerinden tutarlı bir bellek alanını paylaşır; GPU, CPU’nun büyük LPDDR5X bellek havuzuna normal PCIe darboğazı olmadan erişebilir. Bir model veya veri seti GPU’nun kendi yüksek bant genişlikli belleğini aştığında, bu tek bir düğümde çalıştırılabilecekleri değiştirir.

Kiralandığında önemli olan donanım

• GPU belleği: Hopper GPU tarafı orijinal GH200’de HBM3, daha yüksek kapasiteli varyantta ise HBM3e taşır. Süperçip başına yaklaşık 96 GB HBM3 ve yaklaşık 141 GB HBM3e çevresinde yapılandırmalar reklamı yapılmaktadır — yukarıdaki listede tam rakamı kontrol edin, çünkü bellek kapasitesi GH200 SKU’ları arasındaki en büyük farktır.
• Sistem belleği: Grace CPU, GPU tarafından tutarlı şekilde erişilebilen büyük bir LPDDR5X bankası ekler (genellikle yaklaşık 480 GB olarak belirtilir). HBM ile birleştiğinde, tek bir GH200 çok büyük birleşik bir adres alanı sunar — büyük gömme, KV önbellekleri ve grafik veya öneri iş yükleri için faydalıdır.
• Bellek bant genişliği: HBM3/HBM3e GPU’ya saniyede birkaç terabayt veri sağlarken, NVLink-C2C yüzlerce GB/s tutarlı CPU-GPU bant genişliği sağlar — bu, PCIe 5.0 x16 bağlantısından yaklaşık bir büyüklük katı daha fazladır.
• Hesaplama ve hassasiyet: Hopper parçası olarak, GPU dördüncü nesil Tensor Çekirdekleri ve Transformer Motoru içerir; FP8, BF16, FP16, TF32, INT8 ve FP64 için donanım desteği vardır. Özellikle FP8, Hopper’ı hem LLM eğitimi hem de yüksek verimli çıkarım için cazip kılar.
• Çoklu GPU ölçeklendirmesi: GH200 modülleri NVLink ile ve NVL32 tarzı raf tasarımlarında NVLink Switch kumaşı ile bağlanabilir, böylece birden fazla süperçip gevşek bir PCIe kümesinden ziyade daha büyük bir hızlandırıcı gibi davranır.
• Güç ve termal sınıf: bu, yalnızca veri merkezi için tasarlanmış, yüksek TDP modülüdür (genellikle CPU dahil yaklaşık 1000 W’a kadar yapılandırılabilir). Ana bilgisayarda sıvı veya yoğun hava soğutması vardır; bu yüzden kullanılabilirlik, genel sunuculardan ziyade özel ana bilgisayarlara bağlıdır.

GH200’ün gerçekten uyduğu iş yükleri

GH200, tutarlı CPU-GPU bellek ve HBM bant genişliğinin gerçek iş yaptığı yerlerde yerini kazanır:

• Büyük model ve uzun bağlam çıkarımı: büyük KV önbellekleri ve büyük ağırlıklar, HBM ile Grace’in LPDDR5X’e taşma kombinasyonundan faydalanır; bu, tek bir düğümün aksi takdirde birkaç ayrı GPU arasında parçalanması gereken modelleri sunmasını sağlar.
• LLM ince ayarı ve eğitimi: Transformer Motoru aracılığıyla FP8 ve BF16, özellikle veri setleri veya optimize edici durumları bellek açısından talepkar olduğunda, dönüştürücü eğitimi ve parametre açısından verimli ince ayar için güçlü kılar.
• Öneri, GNN ve vektör iş yükleri: CPU ve GPU belleği arasında büyük tablolar veya grafikler akışı yapan her şey NVLink-C2C tutarlılığından doğrudan faydalanır.
• HPC ve bilimsel hesaplama: yerel FP64 ve sıkı CPU-GPU bağlantısı, skaler CPU işi ile GPU çekirdeklerini karıştıran simülasyon ve veri analitiği boru hatları için uygundur.

Küçük model denemeleri, 24–48 GB içinde rahatça sığan klasik bilgisayarla görme ince ayarı, bellek sınırlaması olmayan toplu işler ve çoğu küçük model gerçek zamanlı çıkarımı için aşırı güç kullanımıdır. Daha ucuz bir Ada veya Ampere kartı orada daha maliyet-etkin olacaktır. GH200 ayrıca grafik, oyun veya iş istasyonu renderlama için uygun değildir: görüntü çıkışı yoktur ve rasterizasyon için değil, hesaplama için tasarlanmıştır.

Kiralama bağlamı: maliyet, kullanılabilirlik ve karşılaştırma

GH200, bulut-GPU maliyet spektrumunun üstünde yer alır, H100 sınıfı örneklerle aynı premium seviyede, çünkü HBM, paketlenmiş Grace CPU ve yüksek bant genişlikli bağlantı için ödeme yapıyorsunuz. Talebe kıyasla arz gerçekten kıt, bu yüzden genellikle her genel amaçlı bulutta değil, yapay zeka odaklı ve uzman ana bilgisayarlarda görünür ve talep üzerine kapasite tükenebilir. Spot veya kesintili fiyatlandırma bazı yerlerde vardır ancak eski hızlandırıcılara göre daha az yaygın ve derindir. Canlı, sağlayıcıya özel oranlar için yukarıdaki karşılaştırmaya güvenin; çünkü fiyatlar hareket eder ve bölge ile taahhüt süresine göre değişir.

Tabloyu okurken bu boyutları değerlendirin:

• HBM kapasitesi (96 GB HBM3 vs ~141 GB HBM3e) — bu, yerleşik tutabileceğiniz en büyük modeli belirler.
• Talep üzerine vs rezerve vs spot kullanılabilirlik ve minimum taahhüt.
• Bağlantı topolojisi çok düğümlü eğitim için (NVLink kumaşı vs düğümler arası sade Ethernet/InfiniBand).
• Depolama aktarım hızı ve çıkış ücretleri, genellikle veri yoğun eğitim için toplam maliyeti domine eder.
• Faturalama ayrıntısı (saniye başına vs saat başına) iş yükleriniz kısa veya ani ise.

Sıkça sorulan sorular

GH200, H100 ile aynı mı?

Tam olarak değil. GH200, H100 ile yakından ilişkili bir Hopper GPU içerir, ancak 72 çekirdekli Grace Arm CPU ve NVLink-C2C tutarlı bağlantı ile birleşik bir süperçip olarak gelir. Bağımsız bir H100, sağlayıcının sunduğu herhangi bir x86 ana bilgisayar ile eşleştirilmiş sadece GPU’dur; GH200’ün avantajı ise sıkı bağlı, büyük tutarlı CPU-GPU bellek havuzudur.

GH200’ün ne kadar belleği var?

Varyanta bağlıdır. GPU tarafı yaklaşık 96 GB HBM3 veya yaklaşık 141 GB HBM3e taşır ve Grace CPU, GPU’nun tutarlı şekilde erişebileceği büyük bir LPDDR5X bankası (genellikle yaklaşık 480 GB olarak belirtilir) ekler. SKU’ya göre değiştiği ve model boyutunu sınırlayan özellik olduğu için yukarıdaki listede tam HBM rakamını doğrulayın.

GH200 AI için hangi hassasiyetleri destekliyor?

Bir Hopper parçası olarak, dördüncü nesil Tensor Çekirdekleri ve Transformer Motoru aracılığıyla FP8, BF16, FP16, TF32, INT8 ve FP64 destekler. FP8, verimli büyük model eğitimi ve yüksek verimli çıkarım için öne çıkan özelliktir.

GH200 kiralamak ne zaman değmez?

Modeliniz 24–48 GB içinde rahatça sığıyorsa, iş yükünüz bellek bant genişliğiyle sınırlı değilse veya sadece küçük model gerçek zamanlı çıkarımı gerekiyorsa, daha ucuz bir Ada veya Ampere örneği daha iyi değer sunar. GH200, özellikle büyük bellek, HBM bant genişliği veya tutarlı CPU-GPU veri hareketi darboğaz olduğunda karşılığını verir.