Thuê NVIDIA GB200 Superchip trên Đám mây

Bảng thông số kỹ thuật đầy đủ NVIDIA GB200 Superchip ghi: thế hệ Blackwell, 384 GB VRAM HBM3e, băng thông bộ nhớ 16,000 GB/s, TFLOPS FP16 4,500, TFLOPS FP32 150, tiêu thụ điện 2,700W, phát hành vào 2024.

Bộ nhớ thường là giới hạn cho phục vụ thời gian thực mô hình lớn — với 384 GB, NVIDIA GB200 Superchip dễ dàng xử lý các transformer cỡ trung bình ở FP16 và các mô hình lớn hơn nhiều ở FP8/INT8. Con số 16,000 GB/s đặc biệt quan trọng cho giải mã autoregressive bị giới hạn bộ nhớ đệm KV, nơi băng thông bộ nhớ giới hạn số token/giây nhiều hơn tính toán thô.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.

Tiêu đề hiệu năng NVIDIA GB200 Superchip: 4,500 TFLOPS FP16, 150 TFLOPS FP32, băng thông 16,000 GB/s, VRAM 384 GB.

Chuyển đổi thành các điểm chuẩn thực tế: huấn luyện mô hình LLM 7 tỷ tham số ở FP16 với kích thước lô hợp lý thường bão hòa tính toán trước băng thông; phục vụ thời gian thực trên cùng mô hình thường bị giới hạn bởi băng thông và theo sát con số 16,000 GB/s. Điểm chuẩn tạo ảnh khuếch tán nằm giữa hai mức đó — các bước nặng tính toán tận dụng tốt tensor core, trong khi các khối attention vẫn sử dụng băng thông.

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.

NVIDIA GB200 Superchip phù hợp nhất cho các khối lượng công việc mà 384 GB VRAM và Blackwell tensor cores của nó được phối hợp tốt: Largest-scale AI training, multi-trillion parameter models.

Nếu khối lượng công việc của bạn cần nhiều bộ nhớ hơn đáng kể (ví dụ, huấn luyện các mô hình tiên tiến từ đầu), NVIDIA GB200 Superchip sẽ không đủ và bạn nên chọn card lớp H100/H200/B200. Nếu khối lượng công việc cần ít hơn (ví dụ, phục vụ quy mô nhỏ trên các mô hình 7 tỷ tham số), các card rẻ hơn như L4 hoặc RTX 4090 có thể tiết kiệm chi phí hơn. Đối với phân khúc trung bình, NVIDIA GB200 Superchip thường là lựa chọn hợp lý.

Review full specs and related comparisons on the NVIDIA GB200 Superchip page.