GPU Đám mây Tốt nhất cho Huấn luyện Mô hình AI

Những yêu cầu thực sự của việc huấn luyện mô hình AI đối với GPU thuê

Huấn luyện là giai đoạn tiêu tốn tài nguyên nhất trong vòng đời học máy. Khác với suy luận, chỉ chạy mô hình hoàn chỉnh một lần cho mỗi yêu cầu, huấn luyện liên tục đẩy các lô dữ liệu đi tới và lui qua mạng, tính toán gradient và cập nhật hàng triệu hoặc hàng tỷ tham số qua nhiều epoch. Mẫu lặp đi lặp lại, chạy lâu dài và tiêu tốn bộ nhớ này là điều phân biệt một GPU thuê tốt với một GPU chỉ rẻ tiền. So sánh trên được lọc ra cho các trường hợp phù hợp với công việc này, nhưng biết tại sao chúng đủ điều kiện sẽ giúp bạn đọc đúng cách.

Khi bạn huấn luyện, GPU phải giữ nhiều hơn trọng số mô hình. Nó đồng thời lưu trữ các kích hoạt cho bước truyền ngược, gradient và trạng thái bộ tối ưu. Với các bộ tối ưu phổ biến như Adam, trạng thái bộ tối ưu đó có thể tăng gấp ba lần dung lượng bộ nhớ của trọng số, vì nó theo dõi các thành phần động lượng và phương sai bên cạnh các tham số. Đây là lý do lớn nhất khiến một card chạy suy luận thoải mái cho một mô hình có thể hết bộ nhớ ngay khi bạn cố gắng tinh chỉnh hoặc tiền huấn luyện nó.

Các thông số kỹ thuật quan trọng nhất cho huấn luyện

• Dung lượng VRAM là rào cản cứng. Nó quyết định mô hình lớn nhất và kích thước lô bạn có thể chứa trước khi buộc phải dùng checkpoint gradient, chuyển đổi bộ nhớ hoặc phân mảnh trên nhiều GPU. Các bộ tăng tốc trung tâm dữ liệu với bộ nhớ băng thông cao (HBM) có VRAM nhiều hơn nhiều so với card tiêu dùng, đó là lý do huấn luyện nghiêm túc thường hướng tới chúng.
• Băng thông bộ nhớ giữ cho các đơn vị tính toán luôn có dữ liệu. Huấn luyện thường bị giới hạn bởi bộ nhớ, nên băng thông loại HBM thường quan trọng hơn hiệu suất FLOPS đỉnh thô về thông lượng thực tế. Một card thiếu băng thông sẽ để các tensor core của nó nhàn rỗi.
• Hỗ trợ độ chính xác thấp trực tiếp thúc đẩy tốc độ. Tensor core tăng tốc FP16 và BF16, và các kiến trúc mới hơn thêm FP8. BF16 đặc biệt được đánh giá cao cho huấn luyện vì phạm vi mũ rộng hơn giúp chống lại hiện tượng tràn và thiếu hụt mà FP16 thường gặp, làm cho các lần chạy độ chính xác hỗn hợp ổn định hơn.
• Kết nối nội bộ quyết định khả năng mở rộng vượt quá một GPU. NVLink giữa các card trong một node, và mạng tốc độ cao như InfiniBand giữa các node, quyết định liệu đồng bộ gradient có trở thành nút thắt cổ chai hay không. Thiết lập đa GPU chỉ dùng PCIe có thể bị tắc nghẽn giao tiếp trong huấn luyện phân tán.

Huấn luyện đơn GPU, đa GPU và đa node

Không phải công việc huấn luyện nào cũng cần một cụm máy. Hãy phù hợp quy mô thuê với quy mô công việc:

• Đơn GPU đủ cho các mô hình nhỏ hơn, tinh chỉnh hiệu quả tham số (như bộ điều chỉnh kiểu LoRA), và hầu hết các thử nghiệm. Ở đây bạn muốn VRAM lớn nhất có thể để tránh các giải pháp micro-batching.
• Đa GPU trên một node phù hợp cho tinh chỉnh toàn bộ và các mô hình cỡ trung bình. Song song dữ liệu sao chép mô hình và chia lô; đây là nơi NVLink phát huy tác dụng bằng cách tăng tốc bước all-reduce để trung bình gradient trên các card.
• Cụm đa node cần thiết cho tiền huấn luyện lớn, nơi mô hình được phân mảnh bằng song song tensor, pipeline hoặc song song dữ liệu phân mảnh hoàn toàn. Ở quy mô này, băng thông và cấu trúc mạng giữa các node quan trọng ngang với GPU, và một mạng chậm có thể xóa bỏ lợi ích của việc thêm phần cứng.

Các tính năng nhà cung cấp quyết định thành bại của một lần huấn luyện

Phần cứng chỉ là một nửa quyết định. Các công việc huấn luyện dài lộ ra các chi tiết vận hành mà các tác vụ suy luận ngắn không bao giờ chạm tới:

• Thông lượng lưu trữ quan trọng vì đường ống dữ liệu phải cung cấp cho GPU mà không bị gián đoạn. Bộ dữ liệu lớn cần lưu trữ nhanh và bền gần nơi tính toán; ổ đĩa chậm hoặc kho lưu trữ từ xa có thể làm nghẽn GPU vốn có khả năng cao.
• Spot so với on-demand là một sự đánh đổi thực sự cho huấn luyện. Các phiên bản có thể bị gián đoạn giảm đáng kể chi phí, nhưng việc bị tạm dừng giữa chừng làm lãng phí tiến trình trừ khi bạn checkpoint thường xuyên và có thể tiếp tục sạch sẽ. On-demand hoặc dung lượng đặt trước mua sự tin cậy cho các công việc bạn không thể mất.
• Hỗ trợ checkpoint và ổ đĩa bền cho phép bạn sống sót qua gián đoạn, tạm dừng để kiểm tra kết quả và khởi động lại mà không cần tải lại mọi thứ. Điều này rất cần thiết cho các lần chạy nhiều ngày.
• Độ chi tiết thanh toán ảnh hưởng đến tổng chi phí. Thanh toán theo giây hoặc phút thưởng cho các thử nghiệm ngắn, lặp lại, trong khi làm tròn theo giờ thô thiển phạt các chu kỳ bắt đầu-dừng thường xuyên trong phát triển.
• Khả năng đa GPU và đa node nên được xác nhận trước. Đảm bảo tám card trong một node, hoặc nhiều node kết nối với nhau, khó hơn thuê một GPU đơn và sự khan hiếm thay đổi.

Cách đọc bảng so sánh trên cho khối lượng công việc huấn luyện

Bắt đầu từ kích thước mô hình và bộ dữ liệu của bạn, sau đó mở rộng ra ngoài. Ước tính bộ nhớ bạn cần cho trọng số cộng với gradient cộng với trạng thái bộ tối ưu, và lọc ra các phiên bản có VRAM vượt qua ngưỡng đó với khoảng trống. Tiếp theo, quyết định một GPU có đủ hay bạn cần đa GPU kết nối NVLink hoặc cụm mạng, và kiểm tra các ứng viên có cung cấp cấu trúc đó không. Chỉ sau đó cân nhắc giá và mô hình thanh toán. Một phiên bản hơi đắt hơn với VRAM nhiều hơn và kết nối nhanh hơn thường hoàn thành sớm hơn và tổng chi phí thấp hơn một card rẻ hơn buộc bạn phải dùng các giải pháp chậm. Vì giá thuê thay đổi liên tục và khác nhau giữa các nhà cung cấp, hãy xem các số liệu trực tiếp trong bảng trên là nguồn sự thật thay vì bất kỳ con số nào được trích dẫn trong văn bản.

Các câu hỏi thường gặp

Tôi cần bao nhiêu bộ nhớ GPU để huấn luyện một mô hình?

Dự trù nhiều hơn đáng kể so với số tham số của mô hình. Ngoài trọng số, bạn phải lưu trữ các kích hoạt cho bước truyền ngược, gradient và trạng thái bộ tối ưu, mà với các bộ tối ưu kiểu Adam có thể tăng gấp ba lần dung lượng trọng số. Độ chính xác hỗn hợp và các kỹ thuật như checkpoint gradient hoặc chuyển đổi bộ nhớ giảm yêu cầu này, nhưng cách an toàn là chọn VRAM có khoảng trống thay vì vừa khít.

Các phiên bản spot hoặc có thể bị gián đoạn có an toàn cho công việc huấn luyện không?

Có thể, với điều kiện bạn checkpoint thường xuyên và mã của bạn có thể tiếp tục sạch sẽ từ trạng thái lưu cuối cùng. Dung lượng spot giảm chi phí đáng kể, nhưng có thể bị thu hồi bất cứ lúc nào, nên phù hợp hơn cho các lần chạy chịu lỗi hoặc thử nghiệm hơn là một công việc dài không thể thay thế. Với huấn luyện bạn không thể khởi động lại, on-demand hoặc dung lượng đặt trước là lựa chọn an toàn hơn.

Tôi có cần nhiều GPU để huấn luyện, hay một cái là đủ?

Tùy thuộc vào kích thước mô hình và bộ dữ liệu. Các mô hình nhỏ hơn, tinh chỉnh và phương pháp hiệu quả tham số thường chạy tốt trên một GPU VRAM cao. Tinh chỉnh toàn bộ và mô hình lớn hơn hưởng lợi từ các node đa GPU với kết nối nhanh, và chỉ các công việc tiền huấn luyện lớn nhất mới thực sự cần cụm đa node với mạng tốc độ cao giữa các máy.

Tại sao kết nối nội bộ lại quan trọng đến vậy cho huấn luyện?

Huấn luyện phân tán liên tục đồng bộ gradient giữa các GPU. Nếu liên kết giữa các card hoặc node chậm, giao tiếp đó sẽ làm tắc nghẽn mỗi bước và GPU ngồi không chờ nhau. Kết nối nhanh như NVLink trong một node và InfiniBand giữa các node giữ cho đồng bộ không trở thành nút thắt, nên thêm phần cứng thực sự tăng tốc độ chạy thay vì chỉ thêm chi phí overhead.