Nhà cung cấp GPU đám mây với NVLink hoặc InfiniBand

NVLink và InfiniBand thực sự làm gì khi bạn thuê máy tính đa GPU

NVLink và InfiniBand giải quyết cùng một vấn đề cơ bản từ hai phía khác nhau của máy: di chuyển dữ liệu giữa các GPU đủ nhanh để các bộ tăng tốc dành thời gian của họ cho việc tính toán thay vì chờ đợi. Bộ lọc ở trên thu hẹp danh sách xuống các phiên bản đám mây có một hoặc cả hai kết nối này. Chúng không thể thay thế cho nhau — một là kết nối nội bộ liên kết các GPU bên trong một máy chủ duy nhất, và cái còn lại là kết nối giữa các nút liên kết các máy chủ lại thành một cụm. Đối với bất kỳ khối lượng công việc nào trải dài hơn một GPU, kết nối thường là sự khác biệt giữa việc mở rộng gần như tuyến tính và một thiết lập mà việc thêm GPU hầu như không giúp ích gì.

NVLink: làn đường nhanh giữa các GPU bên trong một hộp

NVLink là liên kết trực tiếp GPU-to-GPU của NVIDIA. Thay vì định tuyến lưu lượng qua bus PCIe của máy chủ và CPU, NVLink kết nối các GPU với nhau (và trên một số nền tảng qua một NVSwitch crossbar) để mỗi GPU trong nút có thể giao tiếp với mọi GPU khác với băng thông cao và độ trễ thấp. Kết quả thực tế khi bạn thuê một phiên bản được trang bị NVLink:

• Băng thông GPU-to-GPU cao hơn nhiều so với các nút chỉ dùng PCIe, điều này quan trọng khi các gradient, kích hoạt hoặc mảnh mô hình phải được trao đổi ở mỗi bước.
• Bộ nhớ được chia sẻ giữa các GPU trong thực tế — một mô hình quá lớn cho VRAM của một GPU có thể được chia nhỏ trên miền NVLink với lưu lượng giữa các GPU giữ trên kết nối nhanh thay vì phải chậm chạp qua PCIe.
• Chi phí đồng bộ hóa thấp hơn cho các thao tác tập thể như all-reduce, vốn chiếm ưu thế trong đào tạo dữ liệu song song.

NVLink hoạt động bên trong một nút duy nhất, vì vậy phạm vi của nó thường là 2, 4 hoặc 8 GPU tùy theo thiết kế máy chủ. Nếu một nhà cung cấp trong danh sách trên quảng cáo một nút 8-GPU “với NVLink,” điều đó có nghĩa là tám card đó được kết nối chặt chẽ. Điều đó không nói gì, tự nó, về cách nút đó kết nối với các nút khác.

InfiniBand: kết nối biến nhiều máy chủ thành một cụm

InfiniBand là công nghệ mạng được sử dụng để kết nối các máy chủ GPU riêng biệt. Khi các công việc đào tạo vượt quá một nút đơn, nút cổ chai chuyển từ bên trong hộp sang giữa các hộp, và mạng Ethernet thông thường có thể làm tắc nghẽn các GPU. InfiniBand giải quyết điều này với băng thông rất cao trên mỗi liên kết, độ trễ thấp và có thể dự đoán được, cùng với RDMA (truy cập bộ nhớ trực tiếp từ xa), cho phép một máy chủ đọc hoặc ghi bộ nhớ của máy chủ khác mà không cần CPU ở cả hai bên tham gia. Kết hợp với GPUDirect RDMA, dữ liệu có thể di chuyển từ GPU này sang GPU khác qua các nút trong khi hầu như bỏ qua việc sao chép bộ nhớ máy chủ.

Đối với đào tạo đa nút, đây là yếu tố giữ cho việc mở rộng hiệu quả. Lý do một cụm gồm, ví dụ, hàng chục hoặc hàng trăm GPU có thể đào tạo một mô hình lớn trong thời gian hợp lý là vì kết nối giữa các nút theo kịp với giao tiếp tập thể mà thuật toán yêu cầu. Nếu dùng mạng thông thường, cùng một công việc có thể dành phần lớn thời gian thực tế chờ đợi mạng.

Khối lượng công việc nào thực sự cần điều này

Lọc theo NVLink hoặc InfiniBand có ý nghĩa khi giao tiếp, không chỉ tính toán thô, là con đường quan trọng:

• Đào tạo và tinh chỉnh mô hình lớn mà phân mảnh tham số, trạng thái bộ tối ưu hoặc các lớp trên các GPU (song song tensor, pipeline hoặc dữ liệu phân mảnh hoàn toàn) — các phương án này tạo ra lưu lượng liên tục giữa các GPU và hưởng lợi nhiều nhất từ NVLink trong một nút và InfiniBand giữa các nút.
• Đào tạo phân tán đa nút khi công việc đơn giản là không vừa trong một máy chủ — ở đây InfiniBand là yếu tố quyết định hiệu quả mở rộng.
• HPC và mô phỏng khoa học với giao tiếp liên tiến trình chặt chẽ, vốn đã dựa vào InfiniBand và RDMA trong nhiều năm.
• Suy luận mô hình lớn hoặc ngữ cảnh lớn mà chia một mô hình duy nhất trên nhiều GPU, nơi NVLink giảm thiểu độ trễ của việc truy cập chú ý và trọng số giữa các GPU.

Thực sự là quá mức cần thiết cho công việc một GPU. Tinh chỉnh mô hình nhỏ, chạy suy luận theo lô vừa vặn trên một card, hầu hết các công việc dựng hình và thử nghiệm đều chạy tốt trên một GPU độc lập. Trả thêm phí cho một nút kết nối chặt chẽ hoặc một cụm InfiniBand không mang lại lợi ích nếu công việc của bạn không bao giờ vượt qua ranh giới GPU.

Những điều cần kiểm tra trước khi thuê

Hai kết nối thường bị nhầm lẫn trong quảng cáo, vì vậy hãy xác minh chi tiết theo bảng so sánh trên:

• Phạm vi — xác nhận xem danh sách có nghĩa là NVLink (kết nối GPU trong nút) hay InfiniBand (mạng giữa các nút). Một phiên bản một nút có thể có NVLink mà không có InfiniBand.
• Kiến trúc và bề rộng — có bao nhiêu GPU chia sẻ miền NVLink (NVSwitch toàn phần tất cả với tất cả so với cầu nối một phần), và tốc độ liên kết InfiniBand cũng như việc RDMA/GPUDirect có được bật hay không.
• Thế hệ — các thế hệ GPU mới hơn có NVLink băng thông cao hơn; chỉ nhãn “NVLink” không cho biết tốc độ.
• Khả năng đa nút — liệu bạn có thể thực sự đặt trước nhiều nút được kết nối với nhau hay không, và liệu chúng có nằm trong cùng một kết nối thay vì phân tán khắp trung tâm dữ liệu.
• Hỗ trợ phần mềm — để NCCL, MPI và framework của bạn nhận biết và sử dụng kết nối; cấu hình sai sẽ âm thầm chuyển sang đường chậm hơn.

Về chi phí và khả năng sẵn có, các phiên bản nhiều kết nối thường nằm ở phân khúc cao hơn. Các nút đa GPU trang bị NVLink và các cụm kết nối InfiniBand sử dụng phần cứng cao cấp và luôn được săn đón, vì vậy dung lượng theo yêu cầu chặt chẽ hơn và các lựa chọn spot hoặc tạm ngưng hiếm hơn so với GPU đơn phổ thông. Đặc biệt, phân bổ InfiniBand đa nút thường bị kiểm soát, đặt trước hoặc bán theo khối lớn. Hãy xem giá trong bảng trên như tham khảo trực tiếp, vì mức giá thay đổi và khác nhau theo nhà cung cấp.

Các câu hỏi thường gặp

Tôi có cần cả NVLink và InfiniBand không?

Tùy vào quy mô. Một công việc đa GPU trong một nút chỉ cần NVLink. Ngay khi đào tạo trải dài trên nhiều máy chủ, bạn cũng cần InfiniBand kết nối các nút đó — hai kết nối hoạt động ở các lớp khác nhau, vì vậy một cụm lớn thường dựa vào NVLink bên trong mỗi hộp và InfiniBand giữa các hộp.

Công việc một GPU của tôi có chạy nhanh hơn trên phiên bản NVLink hoặc InfiniBand không?

Không. Cả hai kết nối chỉ quan trọng khi dữ liệu di chuyển giữa các GPU hoặc giữa các nút. Một công việc vừa vặn trên một GPU không bao giờ chạm đến kết nối nào, vì vậy bạn sẽ phải trả phí cao cho dung lượng không sử dụng được. Chỉ lọc theo những kết nối này khi bạn mở rộng vượt quá một GPU.

Tại sao kết nối lại quan trọng hơn thông số từng GPU đối với các công việc đào tạo lớn?

Đào tạo phân tán dành phần lớn thời gian mỗi bước để trao đổi gradient và kích hoạt. Nếu kết nối không theo kịp, các GPU sẽ nhàn rỗi trong khi chờ đồng bộ, và việc thêm GPU sẽ cho hiệu quả giảm dần. Một kết nối nhanh là yếu tố giữ cho việc mở rộng gần như tuyến tính khi bạn thêm bộ tăng tốc.

NVLink có sẵn trên mọi phiên bản đa GPU không?

Không. Một số nút đa GPU chỉ kết nối các card qua PCIe, có băng thông GPU-to-GPU thấp hơn nhiều. Việc có nhiều GPU không đảm bảo có NVLink, vì vậy hãy xác nhận kết nối rõ ràng trong bảng so sánh trên thay vì chỉ dựa vào số lượng GPU.