Nhà cung cấp GPU đám mây tốt nhất với NVIDIA H100

NVIDIA H100 thực sự là gì

H100 là bộ tăng tốc trung tâm dữ liệu của NVIDIA được xây dựng trên kiến trúc Hopper, thế hệ nằm giữa các sản phẩm Ampere A100 cũ hơn và Blackwell mới hơn. Đây là GPU mà hầu hết các nhóm lựa chọn khi họ muốn đào tạo mô hình lớn nghiêm túc hoặc suy luận với thông lượng cao mà không phải sử dụng các card tiêu dùng. Khi bạn thuê một phiên bản H100 từ bảng so sánh ở trên, bạn đang thuê một bộ tăng tốc AI được thiết kế riêng thay vì một GPU chơi game được tái sử dụng, điều này định hình cả khả năng và chi phí của nó.

Các đặc điểm phần cứng chính quan trọng đối với người thuê:

• Bộ nhớ: biến thể SXM5 được trang bị 80 GB HBM3, trong khi biến thể PCIe sử dụng HBM2e, cũng với 80 GB trên phiên bản phổ thông. Một bản làm mới sau đó, H100 NVL, tăng dung lượng trên mỗi card. Bộ nhớ HBM lớn và nhanh là lý do lớn nhất để chọn card này thay vì các lựa chọn dựa trên GDDR6.
• Băng thông bộ nhớ: HBM3 trên biến thể SXM5 cung cấp khoảng 3 TB/s, cao hơn nhiều so với các card GDDR6/GDDR6X tiêu dùng. Băng thông, chứ không phải FLOPs thô, là yếu tố giữ cho các lớp transformer lớn luôn được cung cấp dữ liệu.
• Nhân tensor và độ chính xác: nhân tensor thế hệ thứ tư hỗ trợ FP16, BF16, TF32, INT8 và — mới với Hopper — FP8. FP8 là tính năng nổi bật cho các tác vụ LLM hiện đại, tăng gấp đôi thông lượng so với FP16 trên các kernel được hỗ trợ trong khi vẫn giữ độ chính xác chấp nhận được với việc điều chỉnh phù hợp.
• Bộ xử lý Transformer: Hopper kết hợp phần cứng FP8 với phần mềm quản lý độ chính xác động theo từng lớp, đó là lý do tại sao thông lượng của H100 trong đào tạo và suy luận transformer có thể vượt xa thế hệ trước trên cùng một mô hình.
• Kết nối nội bộ: các bo mạch SXM5 sử dụng NVLink và NVSwitch thế hệ thứ tư để liên kết GPU với GPU băng thông cao bên trong một node, trong khi các card PCIe dựa vào bus PCIe (với cầu nối NVLink tùy chọn trên một số biến thể). Sự khác biệt này rất quan trọng đối với các công việc đa GPU.
• Công suất: card SXM5 tiêu thụ khoảng 700 W trong khung máy chủ 8 GPU; card PCIe có công suất thấp hơn, khoảng 350 W. Bạn không phải trả trực tiếp hóa đơn điện khi thuê, nhưng điều này giải thích tại sao các phiên bản này có mật độ cao, nhiệt độ lớn và giá cả tương ứng.

Các tác vụ phù hợp thực sự với H100

H100 phát huy hiệu quả trên các công việc giới hạn bộ nhớ, cần thông lượng cao. Nó phù hợp mạnh mẽ với:

• Đào tạo và tinh chỉnh mô hình lớn: 80 GB HBM cho phép bạn giữ các batch lớn hơn và các phân đoạn tham số lớn hơn trên mỗi GPU, và NVLink giúp mở rộng đa GPU và đa node hiệu quả cho đào tạo song song dữ liệu và tensor.
• Suy luận LLM thông lượng cao: FP8 và Bộ xử lý Transformer làm cho nó xuất sắc trong việc phục vụ các mô hình ngôn ngữ lớn với khối lượng yêu cầu cao, nơi bạn quan tâm đến số token trên giây trên mỗi đồng tiền.
• Tinh chỉnh các mô hình trung bình đến lớn: tinh chỉnh đầy đủ và các phương pháp tiết kiệm tham số trên các mô hình hàng tỷ tham số phù hợp thoải mái, trong khi các card VRAM nhỏ hơn buộc phải chuyển tải dữ liệu mạnh.
• Tính toán khoa học và HPC: thông lượng FP64 mạnh (khác với các card tiêu dùng, vốn yếu ở đây) làm cho nó khả thi cho mô phỏng và công việc số học, không chỉ AI.

Nó quá mức cần thiết cho các thử nghiệm mô hình nhỏ, suy luận nhẹ các mô hình nhỏ gọn, ML cổ điển, notebook và hầu hết công việc render hoặc trực quan hóa — những việc này chạy tốt trên các card rẻ hơn nhiều, và thuê H100 cho chúng chủ yếu là lãng phí tiền. Nó hiếm khi thiếu sức mạnh cho công việc một node; điều chính khiến các nhóm vượt qua nó là cần nhiều bộ nhớ tổng hợp hơn so với một node đơn của các card này cung cấp, hoặc muốn lợi ích hiệu quả thế hệ mới nhất.

SXM so với PCIe — biến thể bạn thuê quan trọng

Đây là chi tiết bị bỏ qua nhiều nhất khi thuê. Bo mạch SXM5 cung cấp băng thông cao hơn, đầy đủ kết cấu NVLink/NVSwitch và xung nhịp duy trì cao hơn, đó là lý do tại sao đào tạo đa GPU nghiêm túc hầu như luôn sử dụng chúng. Card PCIe rẻ hơn để lưu trữ và phù hợp cho suy luận đơn GPU hoặc các công việc nhỏ hơn, nhưng liên kết giữa các GPU của chúng chậm hơn. Nếu danh sách ở trên không ghi rõ biến thể, hãy xem đó là câu hỏi cần giải quyết trước khi cam kết chạy đào tạo đa GPU.

Chi phí thuê, khả năng sẵn có và sự khan hiếm

Trong phổ chi phí GPU đám mây, H100 nằm gần đỉnh — trên A100 và cao hơn nhiều so với các card tiêu dùng như RTX 4090 — mặc dù nó đã bị thay thế khỏi đỉnh tuyệt đối bởi phần cứng lớp Blackwell mới hơn. Vì mức giá chính xác thay đổi liên tục và khác nhau theo nhà cung cấp, khu vực, thời hạn cam kết và biến thể, bạn nên đọc số liệu trực tiếp từ bảng so sánh ở trên thay vì tin vào bất kỳ con số cố định nào. Một vài điểm định tính giữ nguyên:

• Theo yêu cầu so với spot: công suất H100 có thể bị gián đoạn hoặc spot có thể rẻ hơn đáng kể so với theo yêu cầu, phù hợp cho đào tạo có checkpoint và suy luận batch chịu lỗi, nhưng rủi ro cho các công việc dài không có checkpoint tốt.
• Sự khan hiếm: nguồn cung H100 từ trước đến nay khá hạn chế, vì vậy khả năng sẵn có — không chỉ giá cả — thay đổi theo khu vực và nhà cung cấp. Danh sách rẻ nhất không có giá trị nếu công suất đã bán hết ở khu vực của bạn.
• Theo GPU đơn lẻ so với node đầy đủ: nhiều nhà cung cấp cho thuê từng H100 đơn lẻ, nhưng hiệu suất đa GPU tốt nhất đến từ các node NVLink 8 GPU đầy đủ; kiểm tra xem bạn đang được truy cập phân đoạn, đơn lẻ hay node đầy đủ.
• Độ chi tiết tính phí: tính phí theo giây hoặc phút thuận lợi cho các tinh chỉnh ngắn và suy luận đột biến; mức tối thiểu theo giờ phù hợp cho các chạy dài. Phù hợp mô hình với kiểu công việc của bạn.

Các câu hỏi thường gặp

H100 đám mây có bao nhiêu VRAM?

H100 phổ thông có 80 GB bộ nhớ băng thông cao — HBM3 trên biến thể SXM5 và HBM2e trên biến thể PCIe. Một bản làm mới H100 NVL sau đó tăng dung lượng trên mỗi card. Luôn xác nhận biến thể và dung lượng bộ nhớ chính xác trong danh sách ở trên, vì điều đó quyết định mô hình lớn nhất và kích thước batch bạn có thể chạy mà không cần chuyển tải.

Có nên thuê H100 thay vì A100 không?

Đối với đào tạo và suy luận transformer, thường là có: hỗ trợ FP8 và Bộ xử lý Transformer của Hopper có thể cung cấp thông lượng trên mỗi GPU cao hơn đáng kể so với Ampere A100, điều này thường bù đắp mức giá theo giờ cao hơn trên cơ sở chi phí trên mỗi token hoặc mỗi bước. Đối với các công việc nhỏ hoặc nhẹ bộ nhớ không tận dụng FP8, A100 rẻ hơn hoặc card tiêu dùng có thể là lựa chọn tốt hơn.

Nên chọn H100 SXM5 hay PCIe?

Chọn SXM5 cho đào tạo đa GPU và các công việc phân tán liên kết chặt chẽ, vì kết cấu NVLink/NVSwitch và băng thông cao hơn của nó mở rộng tốt hơn nhiều trên các GPU. PCIe phù hợp và thường rẻ hơn cho suy luận đơn GPU hoặc các công việc nhỏ hơn. Nếu biến thể không được chỉ định, hãy hỏi trước khi đặt chỗ cho chạy đa GPU.

Tôi có thể tiết kiệm tiền với các phiên bản H100 spot hoặc có thể bị gián đoạn không?

Có, công suất có thể bị gián đoạn thường rẻ hơn nhiều so với theo yêu cầu, và nó hoạt động tốt cho đào tạo có checkpoint thường xuyên hoặc suy luận batch chịu được khởi động lại. Tránh dùng cho các công việc dài không có checkpoint, nơi việc bị loại giữa chừng sẽ lãng phí nhiều giờ tính phí. So sánh cả hai chế độ giá trong bảng ở trên.