NVIDIA H100 ile En İyi Bulut GPU Sağlayıcıları

NVIDIA H100 Aslında Nedir

H100, NVIDIA’nın Hopper mimarisi üzerine inşa edilmiş veri merkezi hızlandırıcısıdır; bu nesil, eski Ampere A100 ile daha yeni Blackwell parçaları arasında yer alır. Büyük modellerin ciddi eğitimleri veya yüksek verimli çıkarımlar için ekiplerin en çok tercih ettiği GPU’dur; tüketici kartlarına tamamen düşmeden yüksek performans sağlar. Yukarıdaki karşılaştırmadan bir H100 örneği kiraladığınızda, oyun GPU’sunun yeniden amaçlandırılmış bir versiyonunu değil, özel olarak tasarlanmış bir yapay zeka hızlandırıcısını kiralamış olursunuz; bu da hem yapabileceklerini hem de maliyetini belirler.

Kiracı için önemli olan temel donanım özellikleri:

• Bellek: SXM5 varyantı 80 GB HBM3 ile gelirken, PCIe varyantı da ana modelde 80 GB HBM2e kullanır. Daha sonraki bir yenileme olan H100 NVL, kart başına kapasiteyi artırır. Büyük ve hızlı HBM, bu kartı GDDR6 tabanlı seçeneklere tercih etmenin en büyük nedenidir.
• Bellek bant genişliği: SXM5 üzerindeki HBM3 yaklaşık 3 TB/s bant genişliği sağlar; bu, tüketici GDDR6/GDDR6X kartlarının çok üzerindedir. Bant genişliği, ham FLOP’lardan daha önemlidir; büyük transformer katmanlarının beslenmesini sağlar.
• Tensor çekirdekleri ve hassasiyetler: dördüncü nesil tensor çekirdekleri FP16, BF16, TF32, INT8 ve — Hopper ile gelen yeni özellik — FP8 destekler. FP8, modern büyük dil modeli (LLM) iş yükleri için başlıca özelliktir; desteklenen çekirdeklerde FP16’ya kıyasla yaklaşık iki kat daha yüksek verimlilik sağlar ve doğru ölçekleme ile doğruluğu kabul edilebilir seviyede tutar.
• Transformer Motoru: Hopper, FP8 donanımını katman başına dinamik hassasiyet yöneten yazılımla eşleştirir; bu nedenle H100, aynı modelde önceki nesile kıyasla transformer eğitimi ve çıkarımında çok daha yüksek verimlilik sunabilir.
• Bağlantı: SXM5 kartlar, düğüm içindeki GPU’lar arasında yüksek bant genişliğine sahip bağlantılar için dördüncü nesil NVLink ve NVSwitch kullanırken, PCIe kartlar PCIe veri yoluna (bazı varyantlarda isteğe bağlı NVLink köprüleriyle) dayanır. Bu fark, çoklu GPU işleri için çok önemlidir.
• Güç sınıfı: SXM5 kart yaklaşık 700 W gücünde olup 8 GPU’lu sunucu kasasında kullanılır; PCIe kart ise daha düşük, yaklaşık 350 W seviyesindedir. Kiralarken doğrudan elektrik faturası ödemezsiniz, ancak bu durum bu örneklerin yoğun, sıcak ve fiyatlandırmasının buna göre olmasının nedenidir.

H100’ün gerçekten uygun olduğu iş yükleri

H100, bellek sınırlandırılmış ve yüksek verimlilik isteyen işler için kendini kanıtlar. Aşağıdaki işler için güçlü bir eşleşmedir:

• Büyük model eğitimi ve ince ayar: 80 GB HBM, GPU başına daha büyük partiler ve daha büyük parametre parçalarını tutmanıza olanak tanır; NVLink ise çoklu GPU ve çoklu düğüm ölçeklendirmesini veri ve tensör paralel eğitimi için verimli kılar.
• Yüksek verimli LLM çıkarımı: FP8 ve Transformer Motoru, yüksek istek hacminde büyük dil modellerinin servis edilmesinde mükemmeldir; burada önemli olan saniye başına token ve dolar başına token oranıdır.
• Orta ve büyük modellerin ince ayarı: tam ince ayarlar ve parametre verimli yöntemler, küçük VRAM kartlarının agresif dışa aktarma zorunluluğu getirdiği yerlerde rahatça sığar.
• Bilimsel ve HPC hesaplama: güçlü FP64 verimliliği (tüketici kartlarının aksine, burada kasıtlı olarak zayıftır) simülasyon ve sayısal işler için uygun hale getirir; sadece yapay zeka için değil.

H100, küçük model denemeleri, hafif çıkarım, klasik makine öğrenimi, not defterleri ve çoğu render veya görselleştirme işi için gereksizdir — bunlar çok daha ucuz kartlarda iyi çalışır ve H100 kiralamak çoğunlukla para israfıdır. Tek düğümlü işler için nadiren yetersiz kalır; ekiplerin H100’ü aşmasının ana nedeni, bu kartların tek düğümünün sağlayabileceğinden daha fazla toplam belleğe ihtiyaç duymaları veya en yeni nesil verimlilik kazanımlarını istemeleridir.

SXM ve PCIe — kiraladığınız varyant önemlidir

Kiralamada en çok gözden kaçan detay budur. SXM5 kartlar daha yüksek bant genişliği, tam NVLink/NVSwitch ağı ve daha yüksek sürekli saat hızları sunar; bu nedenle ciddi çoklu GPU eğitimi neredeyse her zaman bunlarla yapılır. PCIe kartlar barındırması daha ucuzdur ve tek GPU çıkarımı veya daha küçük işler için uygundur, ancak GPU’lar arası bağlantıları daha yavaştır. Yukarıdaki listede varyant belirtilmemişse, çoklu GPU eğitimine başlamadan önce bunu netleştirin.

Kiralama maliyeti, bulunabilirlik ve kıtlık

Bulut GPU maliyet skalasında H100, A100’ün üzerinde ve RTX 4090 gibi tüketici kartlarının çok üzerindedir; ancak mutlak zirve, daha yeni Blackwell sınıfı donanımlar tarafından ele geçirilmiştir. Kesin fiyatlar sürekli değişir ve sağlayıcı, bölge, taahhüt süresi ve varyanta göre farklılık gösterir; bu yüzden yukarıdaki karşılaştırmadan canlı rakamları okumanız, sabit bir rakama güvenmenizden daha iyidir. Bazı niteliksel noktalar sabittir:

• Talep üzerine vs spot: kesintiye uğrayabilir veya spot H100 kapasitesi, talep üzerine olandan önemli ölçüde daha ucuz olabilir; bu, kontrol noktası alınan eğitim ve hata toleranslı toplu çıkarım için uygundur, ancak iyi kontrol noktası olmayan uzun tek seferlik işler için risklidir.
• Kıtlık: H100 arzı tarihsel olarak sınırlı olmuştur, bu yüzden bulunabilirlik — sadece fiyat değil — bölge ve sağlayıcıya göre değişir. Bölgenizde kapasite tükenmişse en ucuz listelemeye sahip olmanız bir işe yaramaz.
• GPU başına vs tam düğüm: birçok sağlayıcı tek H100 kiralar, ancak en iyi çoklu GPU performansı tam 8 GPU’lu NVLink düğümlerinden gelir; fraksiyonel, tekli veya tam düğüm erişimi aldığınızdan emin olun.
• Faturalama ayrıntısı: saniye veya dakika bazında faturalama kısa ince ayarlar ve ani çıkarımlar için avantajlıdır; saatlik minimumlar uzun işler için uygundur. Modelinizi iş yükü deseninize göre eşleştirin.

Sıkça Sorulan Sorular

Bulut H100’ün ne kadar VRAM’i var?

Ana akım H100, yüksek bant genişliğine sahip 80 GB belleğe sahiptir — SXM5 varyantında HBM3, PCIe varyantında HBM2e. Daha sonraki H100 NVL yenilemesi kart başına kapasiteyi artırır. En büyük model ve parti boyutunu dışa aktarmadan çalıştırabilmeniz için yukarıdaki listede tam varyant ve bellek miktarını her zaman doğrulayın.

H100 kiralamak A100’e göre değer mi?

Transformer eğitimi ve çıkarımı için genellikle evet: Hopper’ın FP8 desteği ve Transformer Motoru, Ampere A100’e kıyasla GPU başına önemli ölçüde daha yüksek verimlilik sunabilir; bu da token başına veya adım başına maliyette daha yüksek saatlik ücretin çoğunu dengeler. FP8 kullanmayan küçük veya hafif bellekli işler için daha ucuz A100 veya tüketici kartı daha iyi bir değer olabilir.

SXM5 mi yoksa PCIe H100 mü seçmeliyim?

Çoklu GPU eğitimi ve sıkı bağlı dağıtık işler için SXM5’i seçin; çünkü NVLink/NVSwitch ağı ve daha yüksek bant genişliği GPU’lar arasında çok daha iyi ölçeklenir. PCIe, tek GPU çıkarımı veya daha küçük işler için uygundur ve genellikle daha ucuzdur. Varyant belirtilmemişse, çoklu GPU çalışması rezervasyonu yapmadan önce sorun.

Spot veya kesintiye uğrayabilir H100 örnekleri ile para tasarrufu yapabilir miyim?

Evet, kesintiye uğrayabilir kapasite genellikle talep üzerine olandan çok daha ucuzdur ve sık kontrol noktası alınan eğitim veya yeniden başlatmalara toleranslı toplu çıkarım için uygundur. Uzun, kontrol noktası olmayan işler için kaçının; ortada bir çıkarma saatlerce ödenmiş hesaplama gücünü boşa harcar. Yukarıdaki tabloda her iki fiyatlandırma modunu karşılaştırın.