Nhà cung cấp GPU đám mây với NVLink hoặc InfiniBand

NVLink và InfiniBand thực sự làm gì khi bạn thuê tính toán đa GPU

NVLink và InfiniBand giải quyết cùng một vấn đề cơ bản từ hai phía khác nhau của máy: di chuyển dữ liệu giữa các GPU đủ nhanh để các bộ tăng tốc dành thời gian của họ cho việc tính toán thay vì chờ đợi. Bộ lọc ở trên thu hẹp danh sách xuống các phiên bản đám mây có một hoặc cả hai kết nối này. Chúng không thể thay thế cho nhau — một là mạng nội bộ liên kết các GPU bên trong một máy chủ duy nhất, và cái kia là mạng liên máy liên kết các máy chủ lại thành một cụm. Với bất kỳ khối lượng công việc nào trải rộng trên hơn một GPU, kết nối thường là yếu tố quyết định giữa việc mở rộng gần như tuyến tính và một cấu hình mà việc thêm GPU hầu như không giúp ích gì.

NVLink: làn đường nhanh giữa các GPU trong cùng một máy

NVLink là liên kết trực tiếp GPU-to-GPU của NVIDIA. Thay vì định tuyến lưu lượng qua bus PCIe của máy chủ và CPU, NVLink kết nối các GPU với nhau (và trên một số nền tảng qua NVSwitch crossbar) để mỗi GPU trong node có thể giao tiếp với mọi GPU khác với băng thông cao và độ trễ thấp. Kết quả thực tế khi bạn thuê một phiên bản trang bị NVLink:

• Băng thông GPU-to-GPU cao hơn nhiều so với các node chỉ dùng PCIe, điều này quan trọng khi các gradient, kích hoạt hoặc phân mảnh mô hình phải được trao đổi ở mỗi bước.
• Bộ nhớ được chia sẻ giữa các GPU trong thực tế — một mô hình quá lớn cho VRAM của một GPU có thể được chia nhỏ trên miền NVLink với lưu lượng giữa các GPU giữ trên mạng nhanh thay vì phải đi qua PCIe chậm chạp.
• Chi phí đồng bộ hóa thấp hơn cho các thao tác tập thể như all-reduce, vốn chiếm ưu thế trong huấn luyện song song dữ liệu.

NVLink hoạt động bên trong một node duy nhất, nên phạm vi thường là 2, 4 hoặc 8 GPU tùy thiết kế máy chủ. Nếu nhà cung cấp trong danh sách trên quảng cáo một node 8 GPU “có NVLink,” điều đó có nghĩa tám card đó được liên kết chặt chẽ. Điều này không nói gì về cách node đó kết nối với các node khác.

InfiniBand: mạng kết nối nhiều máy chủ thành một cụm

InfiniBand là công nghệ mạng dùng để kết nối các máy chủ GPU riêng biệt. Khi công việc huấn luyện vượt quá một node đơn, nút thắt cổ chai chuyển từ bên trong hộp sang giữa các hộp, và mạng Ethernet thông thường có thể làm GPU bị nghẽn. InfiniBand giải quyết vấn đề này với băng thông rất cao trên mỗi liên kết, độ trễ thấp và có thể dự đoán, cùng với RDMA (truy cập bộ nhớ trực tiếp từ xa), cho phép một máy chủ đọc hoặc ghi bộ nhớ của máy chủ khác mà không cần CPU của bên nào tham gia. Kết hợp với GPUDirect RDMA, dữ liệu có thể di chuyển từ GPU này sang GPU khác qua các node trong khi phần lớn tránh sao chép bộ nhớ máy chủ.

Đối với huấn luyện đa node, đây là yếu tố giữ cho việc mở rộng hiệu quả. Lý do một cụm gồm hàng chục hoặc hàng trăm GPU có thể huấn luyện một mô hình lớn trong thời gian hợp lý là vì mạng liên máy đáp ứng được giao tiếp tập thể mà thuật toán yêu cầu. Nếu dùng mạng thông thường, cùng một công việc có thể dành phần lớn thời gian thực tế để chờ mạng.

Khối lượng công việc nào thực sự cần điều này

Lọc theo NVLink hoặc InfiniBand có ý nghĩa khi giao tiếp, không chỉ tính toán thô, là yếu tố quan trọng:

• Huấn luyện và tinh chỉnh mô hình lớn mà phân mảnh tham số, trạng thái tối ưu hóa hoặc các lớp trên nhiều GPU (song song tensor, pipeline hoặc fully-sharded) — các phương pháp này tạo ra lưu lượng liên tục giữa các GPU và hưởng lợi nhiều nhất từ NVLink trong node và InfiniBand giữa các node.
• Huấn luyện phân tán đa node khi công việc không thể vừa trong một máy chủ — ở đây InfiniBand là yếu tố quyết định hiệu quả mở rộng.
• HPC và mô phỏng khoa học với giao tiếp liên tiến trình chặt chẽ, vốn đã dựa vào InfiniBand và RDMA trong nhiều năm.
• Suy luận mô hình lớn hoặc ngữ cảnh lớn mà chia một mô hình đơn trên nhiều GPU, nơi NVLink giảm độ trễ khi truy cập trọng số và chú ý chéo GPU.

Thực sự là quá mức cho công việc một GPU. Tinh chỉnh mô hình nhỏ, chạy suy luận theo lô vừa trên một card, hầu hết công việc dựng hình và thử nghiệm đều chạy tốt trên GPU đơn lẻ. Trả thêm tiền cho node liên kết chặt chẽ hoặc cụm InfiniBand không mang lại lợi ích nếu công việc của bạn không vượt qua ranh giới GPU.

Những điều cần kiểm tra trước khi thuê

Hai kết nối này thường bị nhầm lẫn trong quảng cáo, nên xác minh chi tiết theo so sánh trên:

• Phạm vi — xác nhận xem danh sách có nghĩa là NVLink (liên kết GPU trong node) hay InfiniBand (mạng liên node). Một phiên bản đơn node có thể có NVLink mà không có InfiniBand.
• Kiến trúc và bề rộng — có bao nhiêu GPU chia sẻ miền NVLink (NVSwitch all-to-all đầy đủ hay cầu nối một phần), tốc độ liên kết InfiniBand và liệu RDMA/GPUDirect có được bật.
• Thế hệ — các thế hệ GPU mới hơn có NVLink băng thông cao hơn; nhãn “NVLink” đơn thuần không cho biết tốc độ.
• Khả năng đa node — liệu bạn có thể thực sự đặt trước nhiều node liên kết với nhau, và chúng có nằm trong cùng mạng hay phân tán khắp trung tâm dữ liệu.
• Hỗ trợ phần mềm — NCCL, MPI và framework của bạn có nhận diện và sử dụng mạng; cấu hình sai sẽ tự động chuyển sang đường chậm mà không báo lỗi.

Về chi phí và khả năng cung cấp, các phiên bản nhiều kết nối nằm ở phía cao hơn của phổ. Node đa GPU trang bị NVLink và cụm kết nối InfiniBand dùng phần cứng cao cấp và luôn có nhu cầu ổn định, nên dung lượng theo yêu cầu hạn chế hơn và các lựa chọn spot hoặc gián đoạn hiếm hơn so với GPU đơn hàng hóa. Đặc biệt, phân bổ InfiniBand đa node thường bị giới hạn, đặt trước hoặc bán theo khối lớn. Hãy xem giá trong bảng trên như tham khảo trực tiếp, vì giá thay đổi và khác nhau theo nhà cung cấp.

Câu hỏi thường gặp

Tôi có cần cả NVLink và InfiniBand không?

Tùy vào quy mô. Công việc đa GPU trong một node chỉ cần NVLink. Khi huấn luyện trải rộng trên nhiều máy chủ, bạn cũng cần InfiniBand kết nối các node đó — hai công nghệ hoạt động ở các tầng khác nhau, nên một cụm lớn thường dựa vào NVLink bên trong mỗi máy và InfiniBand giữa các máy.

Công việc một GPU của tôi có chạy nhanh hơn trên phiên bản NVLink hoặc InfiniBand không?

Không. Cả hai kết nối chỉ quan trọng khi dữ liệu di chuyển giữa các GPU hoặc giữa các node. Công việc vừa vặn trên một GPU không bao giờ chạm đến mạng này, nên bạn sẽ trả thêm phí cho dung lượng không dùng đến. Chỉ lọc theo các kết nối này khi bạn mở rộng vượt quá một GPU.

Tại sao kết nối lại quan trọng hơn thông số từng GPU đối với các công việc huấn luyện lớn?

Huấn luyện phân tán dành phần lớn thời gian mỗi bước để trao đổi gradient và kích hoạt. Nếu mạng không theo kịp, GPU sẽ nhàn rỗi chờ đồng bộ, và thêm GPU sẽ cho lợi ích giảm dần. Kết nối nhanh là yếu tố giữ cho việc mở rộng gần như tuyến tính khi bạn thêm bộ tăng tốc.

NVLink có sẵn trên mọi phiên bản đa GPU không?

Không. Một số node đa GPU chỉ kết nối các card qua PCIe, có băng thông GPU-to-GPU thấp hơn nhiều. Việc có nhiều GPU không đảm bảo có NVLink, nên hãy xác nhận kết nối rõ ràng trong bảng so sánh trên thay vì chỉ dựa vào số lượng GPU.