Nhà cung cấp GPU đám mây với suy luận GPU không máy chủ

Ý nghĩa thực sự của “serverless” đối với suy luận GPU trên đám mây

Khi một nhà cung cấp trong bảng so sánh trên được gắn nhãn serverless: yes, điều đó có nghĩa là bạn có thể chạy các tác vụ GPU mà không cần thuê và quản lý một phiên bản tồn tại lâu dài. Thay vì phải cung cấp một nút, giữ nó luôn sẵn sàng và trả tiền cho từng giây nó ngồi không, bạn triển khai một container hoặc một điểm cuối mô hình và nền tảng sẽ phân bổ dung lượng GPU theo yêu cầu, tự động điều chỉnh số lượng công nhân hoạt động tăng giảm theo lưu lượng. Bạn chỉ bị tính phí cho thời gian mã của bạn thực sự chạy trên GPU, thường tính đến từng giây hoặc phần nhỏ của giây, và thường được giảm về không khi không có yêu cầu nào đến.

Đây là một mô hình cho thuê hoàn toàn khác so với cách truyền thống “khởi động một máy ảo với GPU gắn kèm.” Lớp serverless trừu tượng hóa máy chủ: bạn không SSH vào một máy, không chọn kernel, và thường không cố định một card vật lý cụ thể. Bạn chỉ cần khai báo loại GPU bạn cần, cung cấp một hình ảnh và điểm vào, và nền tảng sẽ xử lý việc đặt chỗ, tự động mở rộng và dọn dẹp.

Tại sao serverless lại quan trọng đối với các tác vụ suy luận thực tế

GPU serverless được xây dựng xoay quanh các mẫu suy luận thay vì các quá trình huấn luyện dài. Nó phát huy hiệu quả khi nhu cầu của bạn có tính đột biến, không thể đoán trước, hoặc trung bình thấp nhưng có những đợt tăng đột biến, điều này mô tả hầu hết các tính năng AI trong sản xuất:

• Lưu lượng API đột biến — một chatbot, trình tạo hình ảnh, hoặc điểm cuối embedding mà lúc 3 giờ sáng không có yêu cầu nào và lúc trưa thì có lượng lớn yêu cầu. Bạn chỉ trả tiền cho những giây bận rộn thay vì giữ một nút GPU chạy suốt ngày đêm.
• Nhiều mô hình nhỏ hoặc nhiều khách hàng — khi bạn phục vụ hàng chục biến thể tinh chỉnh, việc dành một GPU luôn bật cho mỗi biến thể là lãng phí; serverless cho phép các mô hình không hoạt động không tốn chi phí.
• Các công việc theo sự kiện theo lô — chuyển đổi văn bản từ file tải lên, tạo hình thu nhỏ, hoặc chạy một tác vụ embedding thỉnh thoảng, nơi một yêu cầu đến, công việc được thực hiện, và công nhân biến mất.
• Nguyên mẫu và sản phẩm giai đoạn đầu — bạn tránh phải cam kết dung lượng dự trữ trước khi biết được hình dạng lưu lượng thực tế của mình.

Logic kinh tế rất đơn giản: thuê truyền thống khiến bạn phải trả tiền cho thời gian được cấp phát, trong khi serverless khiến bạn trả tiền cho thời gian được sử dụng. Nếu mức sử dụng GPU của bạn trung bình thấp hơn nhiều so với công suất tối đa, serverless có thể rẻ hơn đáng kể. Nếu bạn chạy GPU gần như bão hòa suốt ngày đêm, một phiên bản dành riêng hoặc đặt trước trong danh sách trên thường là lựa chọn tốt hơn.

Những đánh đổi: khởi động lạnh, kiểm soát và giới hạn

Khả năng mở rộng về không là lợi ích nổi bật và cũng là nguồn gốc của nhược điểm chính. Khi một công nhân đã bị dọn dẹp, yêu cầu tiếp theo phải chờ một khởi động lạnh: nền tảng sẽ lên lịch GPU, tải hình ảnh container của bạn, nạp trọng số mô hình vào VRAM và khởi tạo runtime. Đối với một mô hình nhiều gigabyte, điều này có thể khiến độ trễ tăng thêm từ vài giây đến hàng chục giây cho yêu cầu đầu tiên. Những điều cần cân nhắc:

• Khởi động lạnh so với chi phí — giữ một số lượng tối thiểu công nhân luôn sẵn sàng sẽ loại bỏ khởi động lạnh nhưng lại tái hiện chi phí khi không hoạt động. Nhiều nền tảng cung cấp cài đặt “bản sao tối thiểu” hoặc nhóm ấm để bạn có thể giảm độ trễ.
• Kiểm soát phần cứng ít hơn — bạn thường không thể chọn phiên bản card chính xác, bố trí NUMA, hoặc driver tùy chỉnh. Bạn chỉ yêu cầu một cấp GPU và chấp nhận phần cứng được lên lịch.
• Không trạng thái — công nhân có thể biến mất giữa các yêu cầu, vì vậy ổ đĩa cục bộ là tạm thời. Trạng thái bền vững, bộ nhớ đệm mô hình và trọng số lớn thường nằm trên các ổ mạng gắn kèm hoặc lưu trữ đối tượng, điều bạn nên xác nhận nền tảng hỗ trợ.
• Giới hạn thực thi — các hàm serverless thường có giới hạn thời gian yêu cầu tối đa và giới hạn đồng thời. Các công việc huấn luyện dài nhiều giờ không phù hợp và nên chạy trên các phiên bản dành riêng.
• VRAM vẫn là yếu tố quyết định — serverless không thay đổi thực tế là mô hình của bạn cùng bộ nhớ đệm KV phải vừa trong bộ nhớ GPU. Một công nhân serverless lớp H100 vẫn là H100; hãy chọn cấp dựa trên VRAM mà mô hình của bạn cần.

Những điểm cần so sánh về khía cạnh serverless

Khi đọc danh sách trên, các nhà cung cấp được gắn nhãn serverless không thể thay thế cho nhau. Hãy kiểm tra các chi tiết sau trước khi quyết định:

1. Độ chi tiết của việc tính phí — tính theo giây là phổ biến, nhưng một số tính theo yêu cầu hoặc theo 100 ms; độ chi tiết cao hơn ưu tiên các cuộc gọi ngắn, đột biến.
2. Hành vi mở rộng về không — liệu có thực sự giảm chi phí về 0 khi không hoạt động, và tốc độ mở rộng lại khi lưu lượng tăng đột biến như thế nào?
3. Giảm thiểu khởi động lạnh — nhóm ấm, chụp nhanh, tải hình ảnh nhanh hoặc bộ nhớ đệm trọng số đều giúp giảm độ trễ yêu cầu đầu tiên.
4. Các cấp GPU được cung cấp — phạm vi các card có sẵn (GPU suy luận cấp nhập môn đến các bộ tăng tốc hàng đầu) và VRAM theo từng cấp.
5. Kiểm soát đồng thời và tự động mở rộng — số công nhân tối đa, số yêu cầu mỗi công nhân, và hành vi hàng đợi khi tải cao.
6. Lưu trữ và mạng — các ổ lưu trữ bền vững cho trọng số, và chi phí xuất dữ liệu ra khỏi nền tảng.
7. Container so với điểm cuối quản lý — bạn có thể mang một hình ảnh Docker tùy ý hay triển khai trong một runtime bị giới hạn và có quy chuẩn.

Để biết mức giá hiện tại và các lớp GPU chính xác mà mỗi tùy chọn serverless cung cấp, hãy dựa vào bảng so sánh trên thay vì bất kỳ con số cố định nào, vì giá theo giây và phần cứng có sẵn thường xuyên thay đổi.

Các câu hỏi thường gặp

GPU serverless có luôn rẻ hơn thuê một phiên bản dành riêng không?

Không. Serverless có lợi khi GPU của bạn thường xuyên không hoạt động, vì bạn không phải trả tiền khi không có công việc nào chạy. Nếu bạn sử dụng GPU gần như tối đa liên tục, một phiên bản dành riêng theo yêu cầu, spot hoặc đặt trước trong danh sách trên thường có chi phí thấp hơn trên mỗi đơn vị tính toán, vì bạn tránh được chi phí trên mỗi yêu cầu và phí nhóm ấm để giữ độ trễ thấp.

Tôi có thể dùng GPU serverless cho huấn luyện, không chỉ suy luận không?

Nói chung, nó không phù hợp cho các quá trình huấn luyện đầy đủ. Các nền tảng serverless ưu tiên các thực thi ngắn, không trạng thái và thường áp đặt giới hạn thời gian yêu cầu tối đa và giới hạn đồng thời, trong khi huấn luyện cần các nút lâu dài, có trạng thái với kết nối đa GPU nhanh. Các công việc tinh chỉnh ngắn hoặc suy luận theo lô có thể hoạt động, nhưng huấn luyện lớn nên dùng các phiên bản dành riêng.

Khởi động lạnh là gì và làm sao để tránh?

Khởi động lạnh là độ trễ trước yêu cầu đầu tiên khi nền tảng phải lên lịch GPU, tải hình ảnh và nạp trọng số mô hình vào VRAM. Bạn giảm nó bằng cách giữ một số công nhân luôn sẵn sàng, dùng mô hình nhỏ hơn hoặc đã lượng tử hóa, bộ nhớ đệm trọng số trên ổ lưu trữ bền vững, và chọn nhà cung cấp có tốc độ tải hình ảnh nhanh hoặc hỗ trợ chụp nhanh. Đánh đổi là các công nhân luôn sẵn sàng sẽ tái hiện một phần chi phí khi không hoạt động.

Serverless có cho phép tôi chọn chính xác mẫu GPU không?

Bạn thường chọn một cấp hoặc lớp GPU thay vì một phiên bản card cụ thể. Nền tảng sẽ lên lịch phần cứng phù hợp cho bạn, vì vậy hãy xác nhận trong bảng so sánh trên rằng tùy chọn serverless bạn chọn có cấp với đủ VRAM và hỗ trợ độ chính xác (như FP16, BF16, FP8 hoặc INT8) mà mô hình của bạn yêu cầu.