Nhà cung cấp GPU đám mây với cụm GPU đa nút

Ý nghĩa của các cụm GPU đa nút khi thuê tính toán

Một thiết lập đa nút là khi một công việc duy nhất trải dài trên nhiều máy chủ vật lý, với các GPU trong mỗi máy được kết nối với các GPU ở các máy khác qua một mạng tốc độ cao. Một nút đơn thường có tối đa bốn hoặc tám GPU chia sẻ một bo mạch chủ, được liên kết nội bộ bằng NVLink hoặc PCIe. Khi mô hình, bộ dữ liệu hoặc mô phỏng của bạn vượt quá khả năng chứa của tám GPU và bộ nhớ chung của chúng, bạn phải mở rộng ra ngoài qua các nút thay vì chỉ mở rộng trong một nút. Giá trị “có” trong bộ lọc này đánh dấu các nhà cung cấp cho phép bạn thuê và điều phối các cụm liên kết đó như một đơn vị, thay vì giao cho bạn các máy chủ đơn lẻ riêng biệt mà bạn phải tự kết nối lại với nhau.

Sự phân biệt này quan trọng vì giao tiếp giữa các nút là nút thắt cổ chai trong đào tạo phân tán và HPC quy mô lớn. Các gradient, kích hoạt và mảnh tham số phải di chuyển giữa các máy chủ hàng nghìn lần mỗi bước đào tạo, và tốc độ di chuyển đó thường quyết định liệu việc thêm nhiều GPU có thực sự làm công việc của bạn nhanh hơn hay chỉ làm tăng chi phí.

Tại sao kết nối mạng mới là sản phẩm thực sự

Khi bạn thuê một cụm đa nút, bạn thực sự đang thuê mạng giữa các nút cũng quan trọng như các GPU. Các loại mạng liên quan khác biệt rõ rệt về khả năng:

• InfiniBand là tiêu chuẩn cao cấp cho các cụm đào tạo AI, cung cấp băng thông rất cao trên mỗi cổng và, quan trọng, RDMA — truy cập bộ nhớ trực tiếp từ xa — để một GPU có thể đọc bộ nhớ của nút khác mà không cần CPU can thiệp.
• RoCE (RDMA qua Ethernet hội tụ) mang hành vi RDMA đến phần cứng Ethernet và phổ biến trong các mạng đám mây được tối ưu cho khối lượng công việc phân tán.
• Ethernet TCP/IP thông thường phù hợp với các công việc kết nối lỏng lẻo nhưng làm tăng độ trễ và tải CPU, làm giảm hiệu quả của đào tạo đồng bộ chặt chẽ.
• GPUDirect RDMA cho phép card mạng chuyển dữ liệu trực tiếp vào bộ nhớ GPU, bỏ qua việc sao chép qua RAM hệ thống, điều này giúp các phép toán all-reduce lớn có thể mở rộng.

Hai cụm với GPU giống hệt nhau có thể cung cấp thông lượng rất khác nhau trong cùng một lần chạy đào tạo chỉ vì một cụm có InfiniBand không chặn với GPUDirect còn cụm kia lại định tuyến lưu lượng qua Ethernet bị tắc nghẽn. Đây là lý do tại sao so sánh ở trên đáng được đọc kỹ về khía cạnh mạng thay vì chỉ đếm số GPU.

Hiệu quả mở rộng, không phải số lượng GPU thô

Con số cuối cùng quan trọng là hiệu quả mở rộng: nếu hai nút cho bạn thông lượng gấp 1,9 lần một nút, đó là rất tốt; nếu chỉ gấp 1,2 lần, phần cứng thêm vào chủ yếu bị lãng phí do chi phí giao tiếp. Các khối lượng công việc đồng bộ chặt chẽ mỗi bước — đào tạo mô hình lớn, công việc song song mô hình và song song pipeline — sẽ bị ảnh hưởng nặng nhất bởi mạng yếu. Công việc song song dễ dàng, như chạy nhiều công việc suy luận độc lập hoặc quét siêu tham số, có thể chịu được kết nối chậm hơn vì các nút hầu như không giao tiếp với nhau.

Điều mà đa nút thực sự mở khóa

Thuê các cụm liên kết là điều làm cho các khối lượng công việc sau đây trở nên khả thi:

• Đào tạo mô hình lớn nơi các tham số mô hình, trạng thái bộ tối ưu và gradient không thể chứa trong bộ nhớ GPU chung của một nút đơn và phải được phân mảnh trên nhiều GPU sử dụng song song tensor, pipeline hoặc song song dữ liệu phân mảnh hoàn toàn.
• Đào tạo song song dữ liệu phân tán ở quy mô lớn, nơi bạn sao chép mô hình trên hàng chục hoặc hàng trăm GPU để giảm thời gian đào tạo thực tế.
• HPC và mô phỏng khoa học kết nối chặt chẽ — động lực học chất lỏng, mô hình phân tử, thời tiết — sử dụng MPI để trao đổi dữ liệu qua cụm mỗi vòng lặp.
• Suy luận hàng loạt lớn hoặc các trang trại render phân phối công việc ra nhiều máy, mặc dù những công việc này ít quan tâm đến mạng hơn.

Nếu công việc của bạn vừa vặn trong một nút tám GPU, đa nút thường là quá mức cần thiết — bạn phải chịu phức tạp điều phối và rủi ro chi phí mạng mà không có lợi ích gì. Chỉ mở rộng khi dung lượng bộ nhớ hoặc thời gian đào tạo thực sự bắt buộc.

Những điều cần kiểm tra trước khi thuê cụm

Thẻ “có” cho bạn biết nhà cung cấp hỗ trợ đa nút, nhưng chất lượng hỗ trợ rất khác nhau. Trước khi cam kết, hãy so sánh các điểm sau với danh sách trên:

• Loại mạng và băng thông trên mỗi nút — đó là InfiniBand, RoCE hay Ethernet thông thường, và có hỗ trợ RDMA / GPUDirect không?
• Cấu trúc và vị trí — các nút có được đặt gần nhau (cùng giá đỡ hoặc cụm) với băng thông không chặn, hay rải rác khắp vùng làm độ trễ tăng cao?
• Điều phối — nhà cung cấp có giao cho bạn một cụm Slurm hoặc Kubernetes sẵn sàng với trình điều khiển mạng và NCCL đã cấu hình, hay chỉ là các máy ảo thô mà bạn phải tự kết nối?
• Mô hình cung cấp — bạn có thể lấy toàn bộ cụm theo yêu cầu, hay chỉ qua dung lượng đặt trước và danh sách chờ, vì các khối liên tục lớn rất hiếm?
• Thanh toán cho toàn bộ công việc — bạn trả tiền cho mỗi nút trong toàn bộ thời gian chạy, nên một mạng làm giảm hiệu quả mở rộng sẽ trực tiếp làm tăng chi phí thực tế của bạn.
• Lưu trữ chia sẻ băng thông cao — các công việc phân tán cần một hệ thống tập tin song song mà tất cả các nút có thể đọc nhanh, nếu không việc tải dữ liệu sẽ trở thành nút thắt cổ chai.

Vì dung lượng đa nút liên tục khó tìm hơn so với các phiên bản đơn lẻ rải rác, tính sẵn có và điều kiện theo yêu cầu so với đặt trước thường quan trọng hơn mức giá theo giờ. Sử dụng so sánh ở trên cho giá cả và dung lượng hiện tại, và cân nhắc nó với chất lượng mạng và điều phối, không chỉ dựa vào số lượng GPU.

Các câu hỏi thường gặp

Khi nào tôi thực sự cần đa nút thay vì một máy chủ đơn?

Bạn cần khi khối lượng công việc không còn vừa trong số GPU hoặc bộ nhớ chung của một nút — thường là đào tạo mô hình lớn, tinh chỉnh phân mảnh hoặc HPC kết nối chặt chẽ. Nếu mô hình và batch của bạn vừa trong một hộp bốn hoặc tám GPU, một nút đơn sẽ đơn giản hơn, rẻ hơn và tránh hoàn toàn chi phí giao tiếp giữa các nút.

Đa nút có tự động làm đào tạo nhanh hơn không?

Không tự động. Tăng tốc phụ thuộc vào hiệu quả mở rộng, điều này được quyết định bởi kết nối mạng. Với InfiniBand hoặc RoCE nhanh kèm RDMA, bạn có thể đạt gần như tăng tốc tuyến tính trên các công việc được tối ưu tốt; trên Ethernet thông thường, chi phí giao tiếp có thể ăn mất phần lớn lợi ích, nên thêm nút chỉ làm tăng chi phí mà không giảm tương xứng thời gian đào tạo.

Tôi nên tìm loại mạng nào trong so sánh ở trên?

Đối với đào tạo đồng bộ chặt chẽ, ưu tiên InfiniBand hoặc RoCE với GPUDirect RDMA và cấu trúc không chặn nơi các nút đặt gần nhau. Đối với công việc kết nối lỏng như các công việc suy luận độc lập hoặc quét tham số, Ethernet băng thông cao thông thường thường đủ, nên bạn có thể ưu tiên giá và tính sẵn có.

Tại sao dung lượng đa nút thường khó thuê theo yêu cầu?

Một cụm đa nút cần một khối GPU liên tục lớn, gần nhau về mặt vật lý và được kết nối vào cùng một mạng độ trễ thấp. Loại dung lượng này hiếm hơn các phiên bản đơn lẻ rải rác, nên nhà cung cấp thường đặt nó sau các đặt chỗ hoặc danh sách chờ. Kiểm tra tính sẵn có và điều kiện cung cấp trong danh sách trên, không chỉ dựa vào mức giá.