Nhà cung cấp GPU đám mây với NVLink hoặc InfiniBand

NVLink và InfiniBand thực sự làm gì khi bạn thuê máy tính đa GPU

NVLink và InfiniBand giải quyết cùng một vấn đề cơ bản từ hai phía khác nhau của máy: chuyển dữ liệu giữa các GPU đủ nhanh để các bộ tăng tốc dành thời gian của họ cho việc tính toán thay vì chờ đợi. Bộ lọc ở trên thu hẹp danh sách xuống các phiên bản đám mây có một hoặc cả hai kết nối này. Chúng không thể thay thế cho nhau — một là kết nối nội bộ liên kết các GPU bên trong một máy chủ duy nhất, và cái còn lại là kết nối giữa các nút liên kết các máy chủ lại thành một cụm. Với bất kỳ khối lượng công việc nào trải rộng trên hơn một GPU, kết nối thường là sự khác biệt giữa việc mở rộng gần như tuyến tính và một thiết lập mà việc thêm GPU hầu như không giúp ích gì.

NVLink: làn đường nhanh giữa các GPU trong một hộp

NVLink là liên kết trực tiếp GPU-to-GPU của NVIDIA. Thay vì định tuyến lưu lượng qua bus PCIe của máy chủ và CPU, NVLink kết nối các GPU với nhau (và trên một số nền tảng qua một NVSwitch crossbar) để mọi GPU trong nút có thể giao tiếp với mọi GPU khác với băng thông cao và độ trễ thấp. Kết quả thực tế khi bạn thuê một phiên bản có NVLink:

• Băng thông GPU-to-GPU cao hơn nhiều so với các nút chỉ dùng PCIe, điều này quan trọng mỗi khi các gradient, kích hoạt hoặc mảnh mô hình phải được trao đổi ở mỗi bước.
• Bộ nhớ được chia sẻ giữa các GPU trong thực tế — một mô hình quá lớn cho VRAM của một GPU có thể được chia nhỏ trên miền NVLink với lưu lượng giữa các GPU giữ trên kết nối nhanh thay vì phải đi qua PCIe chậm chạp.
• Giảm chi phí đồng bộ hóa cho các thao tác tập thể như all-reduce, vốn chiếm ưu thế trong huấn luyện dữ liệu song song.

NVLink chỉ hoạt động trong một nút duy nhất, vì vậy phạm vi thường là 2, 4 hoặc 8 GPU tùy thuộc thiết kế máy chủ. Nếu nhà cung cấp trong danh sách trên quảng cáo một nút 8 GPU “có NVLink,” điều đó có nghĩa là tám card đó được kết nối chặt chẽ với nhau. Điều này không nói gì về cách nút đó kết nối với các nút khác.

InfiniBand: kết nối biến nhiều máy chủ thành một cụm

InfiniBand là công nghệ mạng dùng để kết nối các máy chủ GPU riêng biệt. Khi các công việc huấn luyện vượt quá một nút đơn, nút thắt cổ chai chuyển từ bên trong hộp sang giữa các hộp, và mạng Ethernet thông thường có thể làm GPU bị tắc nghẽn. InfiniBand giải quyết điều này bằng thông lượng rất cao trên mỗi liên kết, độ trễ thấp và có thể dự đoán được, cùng với RDMA (truy cập bộ nhớ trực tiếp từ xa), cho phép một máy chủ đọc hoặc ghi bộ nhớ của máy chủ khác mà không cần CPU ở cả hai bên tham gia. Kết hợp với GPUDirect RDMA, dữ liệu có thể di chuyển từ GPU này sang GPU khác qua các nút trong khi hầu như bỏ qua việc sao chép bộ nhớ máy chủ.

Đối với huấn luyện đa nút, đây là yếu tố giữ cho việc mở rộng hiệu quả. Lý do một cụm gồm hàng chục hoặc hàng trăm GPU có thể huấn luyện một mô hình lớn trong thời gian hợp lý là vì kết nối giữa các nút đáp ứng được giao tiếp tập thể mà thuật toán yêu cầu. Nếu dùng mạng thông thường, cùng một công việc có thể mất phần lớn thời gian thực chờ mạng.

Những khối lượng công việc nào thực sự cần điều này

Lọc theo NVLink hoặc InfiniBand có ý nghĩa khi giao tiếp, không chỉ tính toán thô, là yếu tố quan trọng:

• Huấn luyện và tinh chỉnh mô hình lớn mà phân mảnh tham số, trạng thái bộ tối ưu, hoặc các lớp trên nhiều GPU (song song tensor, pipeline hoặc phân mảnh dữ liệu hoàn toàn) — các phương án này tạo ra lưu lượng liên tục giữa các GPU và hưởng lợi nhiều nhất từ NVLink trong một nút và InfiniBand giữa các nút.
• Huấn luyện phân tán đa nút khi công việc không thể vừa trong một máy chủ — ở đây InfiniBand là yếu tố quyết định hiệu quả mở rộng.
• HPC và mô phỏng khoa học với giao tiếp chặt chẽ giữa các tiến trình, vốn đã dựa vào InfiniBand và RDMA trong nhiều năm.
• Suy luận mô hình lớn hoặc ngữ cảnh lớn mà chia một mô hình đơn trên nhiều GPU, nơi NVLink giảm thiểu độ trễ khi truy cập trọng số và chú ý chéo GPU.

Thực sự là quá mức cần thiết cho công việc chỉ dùng một GPU. Tinh chỉnh mô hình nhỏ, chạy suy luận theo lô vừa trên một card, hầu hết công việc dựng hình và thử nghiệm đều chạy tốt trên một GPU độc lập. Trả thêm tiền cho một nút kết nối chặt chẽ hoặc cụm InfiniBand không mang lại lợi ích nếu công việc của bạn không vượt qua ranh giới GPU.

Những điều cần kiểm tra trước khi thuê

Hai kết nối này thường bị nhầm lẫn trong quảng cáo, vì vậy hãy xác minh cụ thể dựa trên so sánh ở trên:

• Phạm vi — xác nhận liệu danh sách có nghĩa là NVLink (kết nối GPU trong nút) hay InfiniBand (mạng giữa các nút). Một phiên bản đơn nút có thể có NVLink mà không có InfiniBand.
• Cấu trúc và băng thông — có bao nhiêu GPU chia sẻ miền NVLink (NVSwitch toàn bộ kết nối tất cả với tất cả hay cầu nối một phần), tốc độ liên kết InfiniBand và liệu RDMA/GPUDirect có được bật không.
• Thế hệ — các thế hệ GPU mới hơn có NVLink băng thông cao hơn; nhãn “NVLink” đơn thuần không cho biết tốc độ.
• Khả năng đa nút — liệu bạn có thể thực sự đặt trước nhiều nút kết nối với nhau, và liệu chúng có nằm trong cùng một kết nối thay vì rải rác khắp trung tâm dữ liệu.
• Hỗ trợ phần mềm — NCCL, MPI và framework của bạn có nhận diện và sử dụng kết nối; cấu hình sai sẽ tự động chuyển sang đường chậm mà không báo lỗi.

Về chi phí và khả năng, các phiên bản nhiều kết nối thường nằm ở mức cao hơn trên phổ. Các nút đa GPU có NVLink và cụm kết nối InfiniBand sử dụng phần cứng cao cấp và luôn được ưa chuộng, nên dung lượng theo yêu cầu hạn chế và các lựa chọn spot hoặc gián đoạn hiếm hơn so với GPU đơn phổ thông. Đặc biệt, phân bổ InfiniBand đa nút thường bị giới hạn, đặt trước hoặc bán theo khối lớn. Hãy xem giá trong bảng trên như tham khảo trực tiếp, vì giá có thể thay đổi và khác nhau theo nhà cung cấp.

Câu hỏi thường gặp

Tôi có cần cả NVLink và InfiniBand không?

Tùy vào quy mô. Một công việc đa GPU trong một nút chỉ cần NVLink. Ngay khi huấn luyện trải rộng trên nhiều máy chủ, bạn cũng cần InfiniBand kết nối các nút đó — hai kết nối hoạt động ở các lớp khác nhau, nên một cụm lớn thường dựa vào NVLink bên trong mỗi hộp và InfiniBand giữa các hộp.

Công việc một GPU của tôi có chạy nhanh hơn trên phiên bản NVLink hoặc InfiniBand không?

Không. Cả hai kết nối chỉ quan trọng khi dữ liệu di chuyển giữa các GPU hoặc giữa các nút. Một công việc vừa trên một GPU không bao giờ chạm đến kết nối nào, nên bạn sẽ phải trả thêm tiền cho dung lượng không sử dụng được. Chỉ lọc theo các kết nối này khi bạn mở rộng vượt quá một GPU.

Tại sao kết nối lại quan trọng hơn thông số từng GPU đối với các công việc huấn luyện lớn?

Huấn luyện phân tán dành phần lớn thời gian mỗi bước để trao đổi gradient và kích hoạt. Nếu kết nối không kịp tốc độ, các GPU sẽ nhàn rỗi trong khi chờ đồng bộ, và việc thêm GPU sẽ cho hiệu quả giảm dần. Một kết nối nhanh là yếu tố giữ cho việc mở rộng gần như tuyến tính khi bạn thêm bộ tăng tốc.

NVLink có sẵn trên mọi phiên bản đa GPU không?

Không. Một số nút đa GPU chỉ kết nối các card qua PCIe, vốn có băng thông GPU-to-GPU thấp hơn nhiều. Việc có nhiều GPU không đảm bảo có NVLink, vì vậy hãy xác nhận kết nối rõ ràng trong so sánh ở trên thay vì chỉ dựa vào số lượng GPU.