Penyedia GPU Awan Terbaik dengan NVIDIA H100

Apa sebenarnya NVIDIA H100 itu

H100 adalah pemecut pusat data NVIDIA yang dibina atas seni bina Hopper, generasi yang terletak antara Ampere A100 yang lebih lama dan bahagian Blackwell yang lebih baru. Ia adalah GPU yang paling banyak digunakan oleh pasukan apabila mereka mahukan latihan model besar yang serius atau inferens berkelajuan tinggi tanpa turun sepenuhnya ke kad pengguna. Apabila anda menyewa instans H100 dari perbandingan di atas, anda menyewa pemecut AI yang dibina khusus dan bukannya GPU permainan yang diubah suai, dan itu membentuk apa yang boleh dilakukannya dan berapa kosnya.

Ciri perkakasan utama yang penting untuk penyewa:

• Memori: varian SXM5 dihantar dengan 80 GB HBM3, manakala varian PCIe menggunakan HBM2e, juga pada 80 GB pada bahagian utama. Penyegaran kemudian, H100 NVL, meningkatkan kapasiti setiap kad. HBM yang besar dan pantas adalah sebab terbesar untuk memilih kad ini berbanding pilihan berasaskan GDDR6.
• Lebar jalur memori: HBM3 pada bahagian SXM5 memberikan kira-kira 3 TB/s, jauh melebihi apa yang dicapai oleh kad GDDR6/GDDR6X pengguna. Lebar jalur, bukan FLOPs mentah, adalah apa yang memastikan lapisan transformer besar sentiasa diberi makan.
• Teras tensor dan ketepatan: teras tensor generasi keempat menyokong FP16, BF16, TF32, INT8, dan — baru dengan Hopper — FP8. FP8 adalah ciri utama untuk beban kerja LLM moden, kira-kira menggandakan kelajuan berbanding FP16 pada kernel yang disokong sambil mengekalkan ketepatan yang boleh diterima dengan penskalaan yang betul.
• Enjin Transformer: Hopper menggabungkan perkakasan FP8 dengan perisian yang menguruskan ketepatan secara dinamik setiap lapisan, itulah sebabnya kelajuan H100 pada latihan dan inferens transformer boleh jauh mengatasi generasi sebelumnya pada model yang sama.
• Sambungan antara GPU: papan SXM5 menggunakan NVLink dan NVSwitch generasi keempat untuk pautan GPU-ke-GPU berkelajuan tinggi dalam nod, manakala kad PCIe bergantung pada bas PCIe (dengan jambatan NVLink pilihan pada beberapa varian). Perbezaan ini sangat penting untuk kerja multi-GPU.
• Kelas kuasa: kad SXM5 adalah bahagian kira-kira 700 W dalam kerangka pelayan 8-GPU; kad PCIe lebih rendah, sekitar 350 W. Anda tidak membayar bil kuasa secara langsung apabila menyewa, tetapi ia menjelaskan mengapa instans ini padat, panas, dan berharga sewajarnya.

Beban kerja yang benar-benar sesuai dengan H100

H100 membuktikan nilainya pada kerja yang terikat memori dan memerlukan kelajuan tinggi. Ia sangat sesuai untuk:

• Latihan dan penalaan model besar: 80 GB HBM membolehkan anda memegang kelompok lebih besar dan serpihan parameter lebih besar setiap GPU, dan NVLink menjadikan penskalaan multi-GPU dan multi-nod cekap untuk latihan data dan tensor-paralel.
• Inferens LLM berkelajuan tinggi: FP8 dan Enjin Transformer menjadikannya cemerlang untuk menyajikan model bahasa besar pada volum permintaan tinggi, di mana anda mengambil berat tentang token per saat per ringgit.
• Penalaan model sederhana hingga besar: penalaan penuh dan kaedah cekap parameter pada model berbilion parameter muat dengan selesa di mana kad VRAM lebih kecil memaksa pemindahan agresif.
• Pengiraan saintifik dan HPC: kelajuan FP64 yang kuat (berbeza dengan kad pengguna yang sengaja lemah di sini) menjadikannya sesuai untuk simulasi dan kerja berangka, bukan hanya AI.

Ia adalah berlebihan untuk eksperimen model kecil, inferens ringan model padat, ML klasik, buku nota, dan kebanyakan kerja rendering atau visualisasi — semuanya berjalan baik pada kad yang jauh lebih murah, dan menyewa H100 untuk mereka kebanyakannya membazir wang. Ia jarang tidak berkuasa untuk kerja nod tunggal; perkara utama yang mendorong pasukan melepasi ia adalah memerlukan lebih banyak memori agregat daripada yang disediakan oleh satu nod kad ini, atau mahukan peningkatan kecekapan generasi terbaru.

SXM vs PCIe — varian yang anda sewa penting

Ini adalah butiran yang paling diabaikan semasa menyewa. Papan SXM5 menawarkan lebar jalur lebih tinggi, fabrik NVLink/NVSwitch penuh, dan jam berterusan lebih tinggi, sebab itulah latihan multi-GPU serius hampir selalu menggunakannya. Kad PCIe lebih murah untuk dihoskan dan sesuai untuk inferens satu GPU atau kerja lebih kecil, tetapi pautan antara GPU mereka lebih perlahan. Jika senarai di atas tidak menyatakan varian, anggap itu sebagai soalan yang perlu diselesaikan sebelum membuat komitmen untuk latihan multi-GPU.

Kos sewa, ketersediaan, dan kekurangan

Dalam spektrum kos GPU awan, H100 berada hampir di puncak — di atas A100 dan jauh di atas kad pengguna seperti RTX 4090 — walaupun ia telah digantikan dari puncak mutlak oleh perkakasan kelas Blackwell yang lebih baru. Oleh kerana kadar tepat sentiasa berubah dan berbeza mengikut penyedia, wilayah, tempoh komitmen, dan varian, anda harus membaca nombor langsung dari perbandingan di atas dan bukannya mempercayai angka tetap. Beberapa perkara kualitatif kekal konsisten:

• On-demand vs spot: kapasiti H100 yang boleh diganggu atau spot boleh jauh lebih murah daripada on-demand, yang sesuai untuk latihan dengan checkpoint dan inferens batch tahan ralat, tetapi berisiko untuk kerja satu tembakan panjang tanpa checkpoint yang baik.
• Kekurangan: bekalan H100 secara sejarah ketat, jadi ketersediaan — bukan hanya harga — berbeza mengikut wilayah dan penyedia. Senarai termurah tidak berguna jika kapasiti sudah habis di wilayah anda.
• Per-GPU vs nod penuh: banyak penyedia menyewa H100 tunggal, tetapi prestasi multi-GPU terbaik datang dari nod NVLink 8-GPU penuh; periksa sama ada anda mendapat akses pecahan, tunggal, atau nod penuh.
• Granulariti bil: bil per saat atau per minit menggalakkan penalaan pendek dan inferens berkelip; minimum sejam menggalakkan larian panjang. Padankan model dengan corak beban kerja anda.

Soalan lazim

Berapa banyak VRAM yang dimiliki H100 awan?

H100 utama membawa 80 GB memori jalur lebar tinggi — HBM3 pada varian SXM5 dan HBM2e pada varian PCIe. Penyegaran H100 NVL kemudian meningkatkan kapasiti setiap kad. Sentiasa sahkan varian tepat dan angka memori dalam senarai di atas, kerana itu menentukan model dan saiz kelompok terbesar yang boleh anda jalankan tanpa pemindahan.

Adakah H100 berbaloi disewa berbanding A100?

Untuk latihan dan inferens transformer, biasanya ya: sokongan FP8 Hopper dan Enjin Transformer boleh memberikan kelajuan lebih tinggi secara material per GPU berbanding Ampere A100, yang sering mengimbangi kadar sejam yang lebih tinggi berdasarkan kos per token atau kos per langkah. Untuk kerja kecil atau ringan memori yang tidak menggunakan FP8, A100 yang lebih murah atau kad pengguna boleh menjadi nilai yang lebih baik.

Patutkah saya memilih H100 SXM5 atau PCIe?

Pilih SXM5 untuk latihan multi-GPU dan kerja diedarkan yang rapat, kerana fabrik NVLink/NVSwitch dan lebar jalur lebih tinggi skala jauh lebih baik merentasi GPU. PCIe sesuai dan sering lebih murah untuk inferens satu GPU atau beban kerja lebih kecil. Jika varian tidak dinyatakan, tanya sebelum menempah larian multi-GPU.

Bolehkah saya jimat wang dengan instans H100 spot atau boleh diganggu?

Ya, kapasiti boleh diganggu biasanya jauh lebih murah daripada on-demand, dan ia berfungsi baik untuk latihan dengan checkpoint kerap atau inferens batch yang boleh menerima permulaan semula. Elakkan untuk kerja panjang tanpa checkpoint di mana pengusiran tengah larian akan membazirkan berjam-jam pengiraan berbayar. Bandingkan kedua mod harga dalam jadual di atas.