Nhà cung cấp GPU đám mây tốt nhất với NVIDIA GH200

NVIDIA GH200 Grace Hopper Superchip thực sự là gì

GH200 không phải là một card GPU gắn thêm thông thường. Nó là một superchip kết hợp GPU lớp H100 thế hệ Hopper của NVIDIA với CPU Grace dựa trên Arm Neoverse 72 nhân trên một mô-đun duy nhất, được nối với nhau bằng NVLink-C2C — một kết nối chip-to-chip đồng bộ liên kết CPU và GPU với băng thông cao hơn nhiều so với khe PCIe tiêu chuẩn. Khi bạn thuê một phiên bản GH200 từ bảng so sánh ở trên, bạn đang thuê toàn bộ gói CPU+GPU đó, không chỉ một GPU gắn thêm vào CPU chủ của người khác.

Kiến trúc đó chính là điểm mấu chốt. Vì CPU Grace và GPU Hopper chia sẻ không gian bộ nhớ đồng bộ qua NVLink-C2C, GPU có thể truy cập vào bộ nhớ LPDDR5X lớn của CPU mà không gặp phải nút thắt cổ chai PCIe thông thường. Đối với các khối lượng công việc mà mô hình hoặc bộ dữ liệu vượt quá bộ nhớ băng thông cao riêng của GPU, điều này thay đổi những gì có thể chạy trên một nút đơn.

Phần cứng quan trọng khi bạn thuê nó

• Bộ nhớ GPU: phía GPU Hopper sử dụng HBM3 trong GH200 gốc và HBM3e trong biến thể dung lượng cao hơn. Bạn sẽ thấy các cấu hình quảng cáo khoảng 96 GB HBM3 và khoảng 141 GB HBM3e mỗi superchip — hãy kiểm tra con số chính xác trong danh sách ở trên, vì dung lượng bộ nhớ là yếu tố phân biệt lớn nhất giữa các SKU GH200.
• Bộ nhớ hệ thống: CPU Grace bổ sung một kho lớn LPDDR5X (thường được ghi nhận khoảng 480 GB), có thể truy cập đồng bộ từ GPU. Kết hợp với HBM, một GH200 đơn lẻ cung cấp không gian địa chỉ thống nhất rất lớn — hữu ích cho các embedding lớn, bộ nhớ đệm KV và các khối lượng công việc đồ thị hoặc đề xuất.
• Băng thông bộ nhớ: HBM3/HBM3e cung cấp nhiều terabyte mỗi giây cho GPU, trong khi NVLink-C2C cung cấp hàng trăm GB/s băng thông đồng bộ CPU-GPU — khoảng một bậc lớn hơn so với liên kết PCIe 5.0 x16.
• Tính toán và độ chính xác: là một phần của Hopper, GPU bao gồm lõi Tensor thế hệ thứ tư và Bộ xử lý Transformer, với hỗ trợ phần cứng cho FP8, BF16, FP16, TF32, INT8 và FP64. FP8 đặc biệt là điểm thu hút của Hopper cho cả đào tạo LLM và suy luận với thông lượng cao.
• Mở rộng đa GPU: các mô-đun GH200 có thể được liên kết với NVLink và, trong các thiết kế rack kiểu NVL32, với fabric Switch NVLink, để nhiều superchip hoạt động gần như một bộ tăng tốc lớn thay vì một cụm PCIe rời rạc.
• Công suất và lớp nhiệt: đây là mô-đun dành riêng cho trung tâm dữ liệu, có TDP cao (thường có thể cấu hình lên đến khoảng 1000 W bao gồm cả CPU). Nó được làm mát bằng chất lỏng hoặc làm mát không khí mạnh trong máy chủ chủ, đó là lý do vì sao tính sẵn có gắn liền với các máy chủ chuyên biệt thay vì các máy chủ phổ thông.

Các khối lượng công việc phù hợp thực sự với GH200

GH200 khẳng định vị trí của mình ở nơi bộ nhớ đồng bộ CPU-GPU và băng thông HBM thực sự phát huy tác dụng:

• Suy luận mô hình lớn và ngữ cảnh dài: bộ nhớ đệm KV lớn và trọng số lớn được hưởng lợi từ sự kết hợp giữa HBM và bộ nhớ tràn vào LPDDR5X của Grace, cho phép một nút đơn phục vụ các mô hình mà nếu không sẽ cần phân mảnh trên nhiều GPU rời rạc.
• Tinh chỉnh và đào tạo LLM: FP8 và BF16 qua Bộ xử lý Transformer giúp nó mạnh mẽ cho đào tạo transformer và tinh chỉnh hiệu quả tham số, đặc biệt khi bộ dữ liệu hoặc trạng thái bộ tối ưu cần nhiều bộ nhớ.
• Khối lượng công việc đề xuất, GNN và vector: bất cứ thứ gì truyền luồng các bảng lớn hoặc đồ thị giữa bộ nhớ CPU và GPU đều hưởng lợi trực tiếp từ sự đồng bộ NVLink-C2C.
• HPC và tính toán khoa học: FP64 gốc cộng với sự kết nối chặt chẽ CPU-GPU phù hợp với các pipeline mô phỏng và phân tích dữ liệu kết hợp công việc scalar CPU với các kernel GPU.

Nó quá mức cần thiết cho thí nghiệm mô hình nhỏ, tinh chỉnh thị giác máy tính cổ điển vừa vặn trong 24–48 GB, các công việc theo lô không bị giới hạn bởi bộ nhớ, và hầu hết suy luận thời gian thực của các mô hình nhỏ — một card Ada hoặc Ampere rẻ hơn trong danh mục rộng hơn sẽ hiệu quả về chi phí hơn ở đó. GH200 cũng không phù hợp cho đồ họa, chơi game hoặc dựng hình workstation: nó không có đầu ra hiển thị và được thiết kế cho tính toán, không phải rasterization.

Bối cảnh thuê: chi phí, tính sẵn có và những gì để so sánh

GH200 nằm gần đỉnh phổ chi phí GPU đám mây, trong cùng phân khúc cao cấp với các phiên bản lớp H100, vì bạn đang trả tiền cho HBM, một CPU Grace đi kèm và kết nối băng thông cao. Nguồn cung thực sự khan hiếm so với nhu cầu, vì vậy nó thường xuất hiện trên các máy chủ chuyên biệt và tập trung vào AI hơn là trên mọi đám mây đa năng, và dung lượng theo yêu cầu có thể hết hàng. Giá spot hoặc giá có thể bị gián đoạn tồn tại ở một số nơi nhưng ít phổ biến và ít sâu hơn so với các bộ tăng tốc cũ hơn. Để biết giá trực tiếp theo nhà cung cấp, hãy dựa vào bảng so sánh ở trên thay vì bất kỳ con số cố định nào, vì giá thay đổi và khác nhau theo vùng và thời hạn cam kết.

Khi bạn đọc bảng, hãy cân nhắc các khía cạnh sau:

• Dung lượng HBM (96 GB HBM3 so với ~141 GB HBM3e) — điều này quyết định mô hình lớn nhất bạn có thể giữ trong bộ nhớ.
• Tính sẵn có theo yêu cầu so với đặt trước so với spot, và cam kết tối thiểu.
• Kiến trúc kết nối cho đào tạo đa nút (fabric NVLink so với Ethernet/InfiniBand thông thường giữa các nút).
• Thông lượng lưu trữ và phí xuất dữ liệu, thường chiếm phần lớn chi phí tổng cho đào tạo dữ liệu lớn.
• Độ chi tiết thanh toán (tính theo giây so với theo giờ) nếu công việc của bạn ngắn hoặc theo đợt.

Các câu hỏi thường gặp

GH200 có giống H100 không?

Không hoàn toàn. GH200 chứa một GPU Hopper liên quan chặt chẽ đến H100, nhưng nó được xuất xưởng như một superchip kết hợp với CPU Grace Arm 72 nhân và kết nối đồng bộ NVLink-C2C. Một H100 độc lập chỉ là GPU kết hợp với bất kỳ CPU x86 nào mà nhà cung cấp cung cấp, vì vậy lợi thế của GH200 là bộ nhớ CPU-GPU đồng bộ lớn được kết nối chặt chẽ.

GH200 có bao nhiêu bộ nhớ?

Tùy thuộc vào biến thể. Phía GPU có khoảng 96 GB HBM3 hoặc khoảng 141 GB HBM3e, và CPU Grace bổ sung một kho LPDDR5X lớn (thường được ghi nhận gần 480 GB) mà GPU có thể truy cập đồng bộ. Xác nhận con số HBM chính xác trong danh sách ở trên, vì nó thay đổi theo SKU và là thông số giới hạn kích thước mô hình.

GH200 hỗ trợ các độ chính xác nào cho AI?

Là một phần của Hopper, nó hỗ trợ FP8, BF16, FP16, TF32, INT8 và FP64 thông qua lõi Tensor thế hệ thứ tư và Bộ xử lý Transformer. FP8 là tính năng nổi bật cho đào tạo mô hình lớn hiệu quả và suy luận với thông lượng cao.

Khi nào thì việc thuê GH200 không đáng?

Nếu mô hình của bạn vừa vặn trong 24–48 GB, khối lượng công việc không bị giới hạn băng thông bộ nhớ, hoặc bạn chỉ cần suy luận thời gian thực mô hình nhỏ, một phiên bản Ada hoặc Ampere rẻ hơn sẽ mang lại giá trị tốt hơn. GH200 chỉ thực sự có lợi khi bộ nhớ lớn, băng thông HBM hoặc chuyển dữ liệu đồng bộ CPU-GPU là nút thắt cổ chai.