GPU Đám Mây Tốt Nhất cho Phục Vụ & Triển Khai Mô Hình Ngôn Ngữ Lớn (LLM)

Những gì LLM serving thực sự yêu cầu từ một GPU thuê

Phục vụ một mô hình ngôn ngữ lớn là một khối lượng công việc cơ bản khác với việc đào tạo một mô hình. Đào tạo bị giới hạn bởi thông lượng và chịu được độ trễ; phục vụ nhạy cảm với độ trễ, bị giới hạn bởi bộ nhớ và có tính bùng phát. Khi bạn thuê một GPU để triển khai một LLM phía sau một API, nút thắt cổ chai hiếm khi là FLOPS thô. Nó là bao nhiêu phần của mô hình và bộ nhớ đệm KV bạn có thể giữ trong VRAM, tốc độ truyền bộ nhớ đó và bao nhiêu yêu cầu đồng thời bạn có thể gom nhóm trước khi số token trên giây mỗi người dùng sụp đổ.

Bộ nhớ đệm KV là phần mà hầu hết mọi người đánh giá thấp. Mỗi yêu cầu đang hoạt động lưu trữ các khóa và giá trị chú ý cho ngữ cảnh của nó, và kích thước đó tăng theo độ dài chuỗi và số lượng người dùng đồng thời. Một mô hình vừa vặn khi nhàn rỗi có thể hết bộ nhớ ngay khi bạn đẩy lưu lượng thực với các lời nhắc dài. Đây là lý do tại sao các triển khai phục vụ thường cần nhiều dung lượng VRAM hơn so với chỉ trọng số mô hình.

Cách xác định kích thước GPU phù hợp với mô hình

Câu hỏi thực tế đầu tiên là liệu mô hình có vừa trên một GPU hay phải chia ra nhiều GPU. Khi đọc so sánh ở trên với mô hình của bạn, hãy cân nhắc các yếu tố sau:

• Dung lượng VRAM quyết định mô hình nào phù hợp. Một mô hình 7B–13B được lượng tử hóa ở FP8 hoặc INT8 có thể phục vụ từ một bộ tăng tốc tầm trung, trong khi một mô hình 70B ở BF16 thường cần một card bộ nhớ cao hoặc một node đa GPU. Các mô hình cực lớn thuộc loại biên giới hiệu quả đòi hỏi nhiều GPU cao cấp liên kết với nhau.
• Băng thông bộ nhớ quyết định tốc độ tạo token của bạn. Giải mã tự hồi quy đọc toàn bộ trọng số cho mỗi token được tạo ra, vì vậy bộ nhớ loại HBM (như trên các card trung tâm dữ liệu) tạo token nhanh hơn nhiều so với các card tiêu dùng dựa trên GDDR cùng kích thước mô hình. Đối với trò chuyện tương tác, băng thông thường quan trọng hơn tính toán.
• Độ chính xác được hỗ trợ quyết định mức độ bạn có thể thu nhỏ mô hình. Các card hỗ trợ tensor FP8 và INT8 cho phép bạn phục vụ các mô hình lớn hơn trên ít VRAM hơn và với thông lượng cao hơn, miễn là ngăn xếp phục vụ và sơ đồ lượng tử hóa của mô hình tương thích.
• Kết nối nội bộ quan trọng khi mô hình trải rộng trên nhiều GPU. Phục vụ song song tensor trao đổi các kích hoạt giữa các GPU ở mỗi lớp, vì vậy các liên kết loại NVLink trong một node cung cấp độ trễ tốt hơn đáng kể so với cấu hình chỉ PCIe. Đối với triển khai một GPU, kết nối nội bộ không quan trọng.

Phục vụ một GPU so với nhiều GPU

Nếu mô hình và bộ nhớ đệm KV đỉnh của nó vừa trên một GPU, hãy giữ nguyên như vậy. Phục vụ một GPU tránh hoàn toàn chi phí giao tiếp giữa các thiết bị và đơn giản hơn trong vận hành. Chỉ chuyển sang song song tensor hoặc phục vụ đa node khi mô hình thực sự không thể vừa, vì mỗi GPU bạn thêm vào sẽ tăng chi phí đồng bộ và làm phức tạp việc tự động mở rộng. Khi bạn cần nhiều GPU, ưu tiên các phiên bản trong danh sách trên kết hợp card bộ nhớ cao với kết nối nội bộ nhanh thay vì ghép nối các card lỏng lẻo.

Các tính năng của nhà cung cấp quan trọng cho phục vụ, không phải đào tạo

Ngoài phần cứng, mô hình vận hành của nhà cung cấp quyết định liệu một triển khai có khả thi hay không. Khi xem xét so sánh ở trên cho khối lượng công việc phục vụ thay vì đào tạo, hãy ưu tiên khác đi:

• Thời gian khởi động lạnh và thiết lập trở thành mối quan tâm hàng đầu. Một điểm cuối phục vụ có thể mở rộng về 0 giữa các đợt tăng lưu lượng sẽ phải chịu chi phí khởi động lạnh mỗi lần mở rộng, vì vậy việc cung cấp nhanh và lưu trữ hình ảnh ảnh hưởng trực tiếp đến độ trễ cuối cùng.
• Độ chi tiết thanh toán thay đổi kinh tế của lưu lượng bùng phát. Thanh toán theo giây hoặc phút phù hợp với các điểm cuối tự động mở rộng bật tắt các phiên bản; thanh toán thô theo giờ sẽ phạt kiểu mẫu đó.
• Độ tin cậy theo yêu cầu so với spot thường là lựa chọn đúng. Các phiên bản có thể bị gián đoạn hoặc spot rất tốt cho đào tạo và công việc theo lô nhưng rủi ro cho điểm cuối hướng người dùng, nơi việc thu hồi giữa chừng làm mất lưu lượng trực tiếp. Spot vẫn có thể phục vụ tốt suy luận theo lô không tương tác.
• Lưu trữ bền và tải mô hình nhanh giảm thiểu khó chịu khi khởi động lại. Trọng số nhiều gigabyte tải lại từ bộ nhớ đối tượng lạnh mỗi lần khởi động lại thêm vài phút thời gian chết; bộ nhớ đệm hoặc ổ đính kèm rút ngắn điều đó.
• Mạng và lưu lượng ra ảnh hưởng đến chi phí ở quy mô lớn. Suy luận với thông lượng cao có thể di chuyển nhiều dữ liệu ra ngoài; hãy kiểm tra điều khoản lưu lượng ra trước khi cam kết triển khai lưu lượng cao.

Phục vụ theo lô so với thời gian thực, và chi phí nằm ở đâu

Hãy quyết định sớm bạn đang tối ưu cho chế độ nào. Phục vụ tương tác thời gian thực ưu tiên thời gian đến token đầu tiên thấp và tốc độ token ổn định trên mỗi người dùng, điều này ưu tiên bộ nhớ băng thông cao và kích thước lô vừa phải. Suy luận theo lô hoặc ngoại tuyến ưu tiên tổng thông lượng và có thể gom các lô lớn lên phần cứng rẻ hơn hoặc có thể bị gián đoạn, đổi lấy độ trễ trên mỗi yêu cầu cao hơn nhưng chi phí trên mỗi token tốt hơn nhiều. Nhiều nhóm chạy cả hai: một tầng đáp ứng theo yêu cầu cho người dùng trực tiếp và một tầng theo lô dựa trên spot cho sinh khối lượng lớn.

Về chi phí thuê, phục vụ trải dài trên toàn bộ phổ. Một mô hình nhỏ được lượng tử hóa trên card tầm trung thì rẻ và phổ biến; các mô hình biên giới trên các node đa GPU bộ nhớ cao thì khan hiếm, đắt hơn và đôi khi bị giới hạn công suất trong đỉnh nhu cầu. Vì giá cả thay đổi liên tục và khác nhau theo vùng và cam kết, hãy coi so sánh trực tiếp ở trên là nguồn sự thật thay vì bất kỳ con số cố định nào, và so sánh các phiên bản dựa trên VRAM, loại băng thông, kết nối nội bộ và mô hình thanh toán cùng nhau thay vì chỉ giá niêm yết.

Các câu hỏi thường gặp

Tôi cần bao nhiêu VRAM để phục vụ một LLM?

Dự toán trọng số mô hình ở độ chính xác bạn chọn cộng với dung lượng dự phòng đáng kể cho bộ nhớ đệm KV, vốn tăng theo độ dài ngữ cảnh và số người dùng đồng thời. Là hướng dẫn sơ bộ, các mô hình nhỏ và trung bình được lượng tử hóa phục vụ từ một card tầm trung, trong khi các mô hình lớn ở độ chính xác cao hơn cần card bộ nhớ cao hoặc nhiều GPU. Luôn xác định kích thước cho mức đồng thời đỉnh, không phải lúc nhàn rỗi.

GPU spot hoặc có thể bị gián đoạn có phù hợp để phục vụ LLM không?

Đối với các điểm cuối thời gian thực hướng người dùng, thường không, vì việc thu hồi có thể làm mất các yêu cầu trực tiếp và buộc phải khởi động lại lạnh. Các phiên bản spot phù hợp với suy luận ngoại tuyến hoặc theo lô, nơi gián đoạn chỉ làm chậm thông lượng chứ không phá vỡ phiên tương tác. Nhiều nhóm giữ dung lượng theo yêu cầu cho lưu lượng trực tiếp và dùng spot cho công việc khối lượng lớn.

Tại sao băng thông bộ nhớ lại quan trọng hơn tính toán cho phục vụ?

Giải mã token từng token đọc trọng số mô hình từ bộ nhớ cho mỗi token nó tạo ra, vì vậy tốc độ tạo token bị giới hạn bởi tốc độ truyền bộ nhớ của GPU hơn là FLOPS đỉnh của nó. Đây là lý do tại sao các card trung tâm dữ liệu trang bị HBM tạo token nhanh hơn các card tiêu dùng giữ cùng mô hình, và tại sao băng thông là cột quan trọng để so sánh ở trên.

Tôi nên phục vụ trên một GPU hay chia ra nhiều GPU?

Sử dụng một GPU bất cứ khi nào mô hình và bộ nhớ đệm KV đỉnh của nó vừa, vì điều đó tránh giao tiếp giữa các thiết bị và đơn giản hóa việc mở rộng. Chỉ chuyển sang song song tensor đa GPU khi mô hình thực sự không thể vừa, và khi làm vậy, chọn các phiên bản kết hợp card bộ nhớ cao với kết nối nội bộ nhanh.