Nhà cung cấp GPU đám mây với các phiên bản Spot / Preemptible

Các phiên bản GPU spot và preemptible thực sự là gì

Một phiên bản GPU spot hoặc preemptible được thuê từ nguồn dự phòng của nhà cung cấp với mức giảm giá sâu đổi lại một điều kiện quan trọng: nhà cung cấp có thể thu hồi máy bất cứ lúc nào, thường là với rất ít hoặc không có cảnh báo trước. Phần cứng giống hệt phiên bản on-demand của cùng loại GPU — cùng VRAM, cùng tensor cores, cùng kết nối nội bộ — nhưng hợp đồng về tính khả dụng của nó thì khác. Bạn đang mua sức mạnh tính toán rẻ chính vì nó có thể bị gián đoạn. Mỗi nhà cung cấp trong danh sách trên được đánh dấu là cung cấp dung lượng spot hoặc preemptible đều thể hiện sự đánh đổi này dưới một hình thức nào đó, dù tên gọi khác nhau: spot, preemptible, interruptible, community, hoặc surplus instances đều mô tả cùng một ý tưởng cơ bản.

Mức giảm giá tồn tại vì các trung tâm dữ liệu hiếm khi chạy ở mức sử dụng 100%. GPU nhàn rỗi không tạo ra doanh thu, nên nhà cung cấp bán phần dư thừa đó với giá chỉ bằng một phần nhỏ so với giá chuẩn và chấp nhận rằng họ có thể phải thu hồi ngay khi có khách hàng trả giá đầy đủ muốn sử dụng, hoặc khi nhu cầu lập lịch của họ thay đổi. Đối với người thuê, điều đó có nghĩa là khoản tiết kiệm công bố là thật, nhưng đi kèm với các nghĩa vụ vận hành mà bạn không có trên một node on-demand được đảm bảo.

Tại sao giá interruptible lại quan trọng với các khối lượng công việc thực tế

Lý do dung lượng spot đáng để hiểu là vì việc thuê GPU rất đắt, và mức giảm giá trên các phiên bản interruptible thường đủ lớn để thay đổi dự án nào có thể khả thi về mặt kinh tế. Điểm khó là không phải khối lượng công việc nào cũng chịu được bị gián đoạn giữa chừng. Yếu tố quyết định gần như luôn là khả năng checkpoint và tiếp tục công việc của bạn.

• Phù hợp tuyệt vời: các quá trình đào tạo dài và tinh chỉnh mà lưu checkpoint vào bộ nhớ bền vững mỗi vài phút, các công việc suy luận hoặc nhúng lớn theo lô, kết xuất offline, quét siêu tham số nơi các thử nghiệm riêng lẻ độc lập, và bất kỳ pipeline nào đã được xây dựng xung quanh khả năng chịu lỗi.
• Không phù hợp: phục vụ suy luận thời gian thực hoặc độ trễ thấp cho ứng dụng trực tiếp, các phiên phát triển tương tác mà mất máy có nghĩa là mất công việc chưa lưu, và đào tạo đa-GPU đồng bộ chặt chẽ không thể phục hồi mượt mà khi một node biến mất.

Mô hình tư duy đơn giản: nếu mất phiên bản chỉ khiến bạn mất vài phút kể từ checkpoint cuối cùng, spot gần như luôn là lựa chọn đúng. Nếu mất nó khiến bạn mất một yêu cầu, một khách hàng, hoặc hàng giờ trạng thái chưa lưu, thì phí bảo hiểm on-demand mua cho bạn sự yên tâm đáng giá để trả.

Những đánh đổi cần cân nhắc

Việc bị gián đoạn là chi phí rõ ràng, nhưng không phải là chi phí duy nhất. Khi so sánh các nhà cung cấp theo khía cạnh này, hãy giữ bức tranh tổng thể trong đầu:

• Hành vi thu hồi: một số nhà cung cấp cho thông báo chấm dứt ngắn (thường vài phút) để công việc của bạn có thể lưu trạng thái và kết thúc sạch sẽ; những nhà cung cấp khác có thể thu hồi máy ngay lập tức. Thời gian ân hạn rất có giá trị vì nó cho phép bạn kích hoạt checkpoint cuối cùng.
• Biến động về tính khả dụng: các pool spot dao động. GPU chính xác bạn muốn với giá bạn thấy có thể không có sẵn trong một khoảng thời gian, và các bộ tăng tốc được ưa chuộng nhất bị thu hồi mạnh tay hơn các card cũ hoặc ít phổ biến hơn.
• Bộ nhớ lưu trữ tồn tại lâu hơn phiên bản: nếu checkpoint của bạn chỉ nằm trên ổ đĩa cục bộ của phiên bản, một lần gián đoạn sẽ xóa sạch chúng. Spot chỉ hoạt động an toàn khi dữ liệu và checkpoint của bạn nằm trên bộ nhớ bền vững hoặc lưu trữ mạng tồn tại sau node.
• Ma sát khi khởi động lại: sau khi bị thu hồi bạn phải lấy lại dung lượng, tải lại ảnh container và dữ liệu, rồi tiếp tục — nên thời gian khởi động lạnh và kích thước ảnh ảnh hưởng đến thông lượng và chi phí hiệu quả của bạn.

Những điều cần kiểm tra trước khi thuê dung lượng spot

Vì cùng một từ có thể mang nghĩa khác nhau giữa các nhà cung cấp, hãy dùng bảng so sánh trên để xác nhận chi tiết thay vì giả định. Trước khi cam kết khối lượng công việc trên các phiên bản interruptible, hãy làm theo danh sách kiểm tra này:

• Cửa sổ thông báo: nhà cung cấp có cảnh báo bạn trước khi thu hồi không, và thời gian ân hạn là bao lâu? Ngay cả 30–120 giây cũng thay đổi cách bạn thiết kế checkpoint.
• Mức độ thu hồi mạnh mẽ: các máy spot chỉ bị thu hồi khi thực sự thiếu dung lượng, hay còn vì cân bằng lại thường xuyên? Thu hồi thường xuyên khi không có áp lực làm giảm khoản tiết kiệm.
• Cơ chế checkpoint: bạn có thể ghi checkpoint vào bộ nhớ đối tượng hoặc lưu trữ mạng bền vững với chi phí thấp không, và chi phí lấy dữ liệu ra có hợp lý không? Đây là yếu tố quan trọng nhất để sử dụng spot an toàn.
• Tự động lấy lại dung lượng: nền tảng có tự động xếp lại hàng đợi và khởi động lại công việc khi dung lượng quay trở lại không, hay bạn phải tự viết kịch bản? Việc quản lý xếp lại giúp spot ít phải can thiệp thủ công hơn nhiều.
• Hành vi đa-GPU và đa-node: nếu bạn cần nhiều GPU cùng lúc, mất một cái có thể làm tắc toàn bộ công việc. Kiểm tra xem nhà cung cấp có thể giữ nhóm nguyên tử hay chỉ cung cấp spot từng GPU riêng lẻ.
• Độ chi tiết tính phí: tính phí theo giây hoặc theo phút phù hợp với spot vì bạn chỉ trả tiền cho thời gian thực sự chạy trước khi bị thu hồi, thay vì làm tròn lên.

Một mô hình thực tế nhiều nhóm áp dụng là cấu hình lai: chạy phần lớn công việc hướng đến thông lượng và có checkpoint trên spot để tận dụng giảm giá, đồng thời giữ một phần nhỏ on-demand cho những việc nhạy cảm với độ trễ hoặc trạng thái. Sự kết hợp này tận dụng phần lớn khoản tiết kiệm mà không làm lộ những phần pipeline không thể chịu được gián đoạn.

Các câu hỏi thường gặp

Tôi có mất công việc khi phiên bản GPU spot bị thu hồi không?

Bạn sẽ mất bất kỳ trạng thái nào chỉ tồn tại trên phiên bản tại thời điểm bị thu hồi — bao gồm tiến độ chưa lưu và mọi thứ trên ổ đĩa cục bộ. Bạn không mất công việc đã ghi ra bộ nhớ bền vững hoặc lưu trữ mạng. Đây là lý do checkpoint thường xuyên vào bộ nhớ bền vững là nguyên tắc cốt lõi để sử dụng dung lượng spot an toàn; với checkpoint tốt, bạn chỉ mất tối đa vài phút kể từ lần lưu cuối cùng.

Phần cứng GPU có khác nhau giữa phiên bản spot và on-demand không?

Không. Phiên bản spot và on-demand sử dụng cùng phần cứng vật lý, nên GPU, VRAM, tensor cores và kết nối nội bộ đều giống nhau. Sự khác biệt duy nhất là hợp đồng về tính khả dụng và giá cả: spot rẻ hơn nhưng có thể bị gián đoạn, còn on-demand đắt hơn và không bị thu hồi đột ngột. Bạn đang trả tiền cho sự liên tục được đảm bảo, không phải cho silicon nhanh hơn.

Phiên bản spot có thể tiết kiệm bao nhiêu so với on-demand?

Mức giảm giá thường khá lớn và là lý do chính để chọn dung lượng interruptible, nhưng con số chính xác thay đổi theo nhà cung cấp, mẫu GPU, khu vực và nhu cầu hiện tại, và luôn biến động. Thay vì dựa vào một con số cố định, hãy kiểm tra bảng so sánh trực tiếp ở trên để biết sự chênh lệch hiện tại giữa spot và on-demand trên GPU cụ thể bạn muốn.

Khối lượng công việc nào không nên chạy trên phiên bản spot?

Tránh dùng spot cho bất cứ việc gì không thể chịu được biến mất đột ngột: suy luận trực tiếp, độ trễ thấp cho ứng dụng sản xuất, các phiên tương tác giữ công việc chưa lưu, và các công việc đa-GPU gắn kết chặt chẽ không thể phục hồi khi mất một node. Với những việc đó, phí bảo hiểm on-demand rất đáng để trả. Mọi thứ checkpoint tốt và chịu được khởi động lại — đào tạo, tinh chỉnh, suy luận theo lô, kết xuất, và quét tham số — đều rất phù hợp với spot.