Penyedia GPU Cloud Terbaik dengan NVIDIA H100

Apa sebenarnya NVIDIA H100 itu

H100 adalah akselerator pusat data NVIDIA yang dibangun di atas arsitektur Hopper, generasi yang berada di antara Ampere A100 yang lebih lama dan bagian Blackwell yang lebih baru. Ini adalah GPU yang paling sering dipilih tim ketika mereka menginginkan pelatihan model besar yang serius atau inferensi throughput tinggi tanpa harus turun ke kartu konsumen. Ketika Anda menyewa instance H100 dari perbandingan di atas, Anda menyewa akselerator AI yang dibuat khusus, bukan GPU gaming yang diubah fungsi, dan itu memengaruhi apa yang dapat dilakukan dan berapa biayanya.

Ciri utama perangkat keras yang penting bagi penyewa:

• Memori: varian SXM5 dilengkapi dengan 80 GB HBM3, sementara varian PCIe menggunakan HBM2e, juga 80 GB pada bagian mainstream. Penyegaran berikutnya, H100 NVL, meningkatkan kapasitas per kartu. HBM yang besar dan cepat adalah alasan terbesar memilih kartu ini dibandingkan opsi berbasis GDDR6.
• Bandwidth memori: HBM3 pada bagian SXM5 memberikan sekitar 3 TB/s, jauh di atas apa yang dicapai kartu GDDR6/GDDR6X konsumen. Bandwidth, bukan FLOPs mentah, adalah yang menjaga lapisan transformer besar tetap terisi.
• Tensor cores dan presisi: tensor cores generasi keempat mendukung FP16, BF16, TF32, INT8, dan — baru dengan Hopper — FP8. FP8 adalah fitur utama untuk beban kerja LLM modern, kira-kira menggandakan throughput dibandingkan FP16 pada kernel yang didukung sambil menjaga akurasi tetap dapat diterima dengan skala yang tepat.
• Transformer Engine: Hopper memadukan perangkat keras FP8 dengan perangkat lunak yang secara dinamis mengelola presisi per lapisan, itulah sebabnya throughput H100 pada pelatihan dan inferensi transformer bisa jauh melampaui generasi sebelumnya pada model yang sama.
• Interkoneksi: papan SXM5 menggunakan NVLink generasi keempat dan NVSwitch untuk tautan GPU-ke-GPU berbandwidth tinggi di dalam sebuah node, sementara kartu PCIe mengandalkan bus PCIe (dengan jembatan NVLink opsional pada beberapa varian). Perbedaan ini sangat penting untuk pekerjaan multi-GPU.
• Kelas daya: kartu SXM5 adalah bagian sekitar 700 W dalam chassis server 8-GPU; kartu PCIe berada di bawahnya, sekitar 350 W. Anda tidak membayar tagihan listrik secara langsung saat menyewa, tetapi ini menjelaskan mengapa instance ini padat, panas, dan diberi harga sesuai.

Beban kerja yang benar-benar cocok untuk H100

H100 memberikan nilai pada pekerjaan yang terikat memori dan haus throughput. Ini sangat cocok untuk:

• Pelatihan dan fine-tuning model besar: 80 GB HBM memungkinkan Anda menampung batch lebih besar dan pecahan parameter yang lebih besar per GPU, dan NVLink membuat skala multi-GPU dan multi-node efisien untuk pelatihan data-paralel dan tensor-paralel.
• Inferensi LLM throughput tinggi: FP8 dan Transformer Engine membuatnya sangat baik untuk melayani model bahasa besar dengan volume permintaan tinggi, di mana Anda peduli dengan token per detik per dolar.
• Fine-tuning model menengah hingga besar: fine-tune penuh dan metode parameter-efisien pada model multi-miliar parameter dapat dijalankan dengan nyaman di mana kartu VRAM lebih kecil memaksa offloading agresif.
• Komputasi ilmiah dan HPC: throughput FP64 yang kuat (tidak seperti kartu konsumen yang sengaja lemah di sini) membuatnya layak untuk simulasi dan pekerjaan numerik, bukan hanya AI.

Ini berlebihan untuk eksperimen model kecil, inferensi ringan model kompak, ML klasik, notebook, dan sebagian besar pekerjaan rendering atau visualisasi — itu berjalan baik pada kartu yang jauh lebih murah, dan menyewa H100 untuk itu sebagian besar membuang-buang uang. Jarang kurang bertenaga untuk pekerjaan single-node; hal utama yang membuat tim melewati ini adalah kebutuhan memori agregat lebih besar daripada yang disediakan node tunggal kartu ini, atau menginginkan keuntungan efisiensi generasi terbaru.

SXM vs PCIe — varian yang Anda sewa penting

Ini adalah detail yang paling sering diabaikan saat menyewa. Papan SXM5 menawarkan bandwidth lebih tinggi, fabric NVLink/NVSwitch penuh, dan clock yang lebih tinggi berkelanjutan, itulah sebabnya pelatihan multi-GPU serius hampir selalu menggunakannya. Kartu PCIe lebih murah untuk hosting dan baik untuk inferensi single-GPU atau pekerjaan lebih kecil, tetapi tautan antar-GPU mereka lebih lambat. Jika daftar di atas tidak menyebutkan varian, anggap itu sebagai pertanyaan yang harus diselesaikan sebelum berkomitmen pada pelatihan multi-GPU.

Biaya sewa, ketersediaan, dan kelangkaan

Dalam spektrum biaya GPU cloud, H100 berada di puncak — di atas A100 dan jauh di atas kartu konsumen seperti RTX 4090 — meskipun telah tergeser dari puncak mutlak oleh perangkat keras kelas Blackwell yang lebih baru. Karena tarif tepat bergerak terus-menerus dan berbeda menurut penyedia, wilayah, jangka waktu komitmen, dan varian, Anda harus membaca angka langsung dari perbandingan di atas daripada mempercayai angka tetap. Beberapa poin kualitatif tetap konsisten:

• On-demand vs spot: kapasitas H100 yang dapat diinterupsi atau spot bisa jauh lebih murah daripada on-demand, yang cocok untuk pelatihan dengan checkpoint dan inferensi batch yang toleran terhadap kesalahan, tetapi berisiko untuk pekerjaan single-shot panjang tanpa checkpoint yang baik.
• Kelangkaan: pasokan H100 secara historis ketat, jadi ketersediaan — bukan hanya harga — bervariasi menurut wilayah dan penyedia. Daftar termurah tidak berguna jika kapasitas sudah habis di wilayah Anda.
• Per-GPU vs full-node: banyak penyedia menyewakan H100 tunggal, tetapi performa multi-GPU terbaik berasal dari node NVLink 8-GPU penuh; periksa apakah Anda mendapatkan akses fraksional, tunggal, atau full-node.
• Granularitas penagihan: penagihan per detik atau per menit menguntungkan fine-tune pendek dan inferensi bursty; minimum per jam menguntungkan run panjang. Sesuaikan model dengan pola beban kerja Anda.

Pertanyaan yang sering diajukan

Berapa banyak VRAM yang dimiliki H100 cloud?

H100 mainstream membawa 80 GB memori bandwidth tinggi — HBM3 pada varian SXM5 dan HBM2e pada varian PCIe. Penyegaran H100 NVL berikutnya meningkatkan kapasitas per kartu. Selalu konfirmasi varian dan angka memori tepat di daftar atas, karena itu menentukan model dan ukuran batch terbesar yang dapat Anda jalankan tanpa offloading.

Apakah H100 layak disewa dibandingkan A100?

Untuk pelatihan dan inferensi transformer, biasanya ya: dukungan FP8 Hopper dan Transformer Engine dapat memberikan throughput per GPU yang secara material lebih tinggi daripada Ampere A100, yang sering mengimbangi tarif per jam yang lebih tinggi berdasarkan biaya per token atau biaya per langkah. Untuk pekerjaan kecil atau ringan memori yang tidak memanfaatkan FP8, A100 yang lebih murah atau kartu konsumen bisa menjadi nilai yang lebih baik.

Haruskah saya memilih SXM5 atau PCIe H100?

Pilih SXM5 untuk pelatihan multi-GPU dan pekerjaan terdistribusi yang terikat erat, karena fabric NVLink/NVSwitch dan bandwidth yang lebih tinggi skalanya jauh lebih baik di seluruh GPU. PCIe baik dan sering lebih murah untuk inferensi single-GPU atau beban kerja lebih kecil. Jika varian tidak disebutkan, tanyakan sebelum memesan run multi-GPU.

Bisakah saya menghemat uang dengan instance H100 spot atau yang dapat diinterupsi?

Ya, kapasitas yang dapat diinterupsi biasanya jauh lebih murah daripada on-demand, dan cocok untuk pelatihan dengan checkpoint sering atau inferensi batch yang toleran terhadap restart. Hindari untuk pekerjaan panjang tanpa checkpoint di mana pengusiran di tengah run akan membuang-buang jam komputasi berbayar. Bandingkan kedua mode harga di tabel atas.