Nhà cung cấp GPU đám mây với thanh toán theo giây

Việc tính phí theo giây thực sự có ý nghĩa gì đối với việc thuê GPU đám mây

Tính phí theo giây có nghĩa là nhà cung cấp đo lường phiên bản GPU của bạn theo từng giây và chỉ tính phí cho những giây phiên bản đang chạy, thay vì làm tròn lên giờ tiếp theo hoặc tính phí theo khối giờ cố định. Khi bạn khởi chạy một phiên bản và tắt nó sau 23 phút, bạn chỉ trả tiền cho khoảng 1.380 giây tính toán, không phải một giờ đầy đủ. Mức giá quảng cáo cơ bản vẫn thường được biểu thị theo giá trên mỗi giờ GPU, nhưng đồng hồ đo chạy chính xác hơn nhiều, vì vậy khoảng cách giữa lượng sử dụng và số tiền bạn phải trả gần như bằng không.

Điều này nghe có vẻ như là một chi tiết kế toán nhỏ, nhưng nó thay đổi đáng kể về mặt kinh tế đối với các khối lượng công việc tự động, bùng phát và thử nghiệm. Danh sách trên lọc riêng cho các nhà cung cấp tính phí theo độ chi tiết này, đây là yếu tố phân biệt một nền tảng được xây dựng cho các công việc ngắn, thường xuyên với một nền tảng tối ưu cho các phiên bản lâu dài, trạng thái ổn định.

Tính phí theo giây so với theo giờ và theo phút

Độ chi tiết tính phí nằm trên một phổ, và sự khác biệt tăng lên theo quy mô:

• Theo giờ, làm tròn lên: một công việc 90 giây và một công việc 59 phút đều tính phí một giờ đầy đủ. Đây là trường hợp tệ nhất cho các tác vụ ngắn và phạt các chu kỳ khởi động/dừng thường xuyên.
• Theo phút: tốt hơn, nhưng một lần gọi suy luận 5 giây hoặc khởi động container 20 giây vẫn làm tròn lên 60 giây, điều này cộng dồn qua hàng ngàn lần gọi.
• Theo giây: bạn trả tiền cho thời gian thực tế đồng hồ ghi nhận, thường có một mức phí tối thiểu nhỏ (thường là phút đầu tiên) để ngăn chặn việc lạm dụng thay đổi liên tục.

Đối với một lần chạy đào tạo dài, độ chi tiết gần như không quan trọng — sai số làm tròn trên một công việc 40 giờ về mặt thống kê là không đáng kể. Đối với một đội ngũ suy luận tự động mở rộng mà khởi động và tắt phiên bản hàng trăm lần mỗi ngày, hoặc một quá trình tìm kiếm siêu tham số liên tục khởi chạy và hủy container, việc đo theo giây có thể là sự khác biệt giữa việc trả tiền cho tài nguyên bạn đã dùng và trả tiền cho việc làm tròn khi nhàn rỗi.

Quy trình làm việc nào hưởng lợi nhiều nhất

Tính phí theo giây thưởng cho mọi thứ có tính bùng phát, tự động hoặc ngắn hạn:

• Suy luận bùng phát và mở rộng kiểu serverless: các khối lượng công việc mở rộng công suất GPU để phù hợp với khối lượng yêu cầu và giải phóng trong vài phút sẽ tiết kiệm nhiều nhất, vì việc làm tròn khi nhàn rỗi được loại bỏ ở mỗi sự kiện mở rộng.
• CI/CD và kiểm thử tự động: các bộ kiểm thử hoặc công việc xác thực mô hình chạy trên GPU trong vài phút cho mỗi lần commit tránh phải trả phí khối giờ đầy đủ cho mỗi lần kích hoạt pipeline.
• Tìm kiếm siêu tham số và thử nghiệm: khởi chạy hàng chục thử nghiệm ngắn, hủy bỏ những thử nghiệm kém hiệu quả sớm và chỉ giữ lại các cấu hình triển vọng sẽ rẻ hơn nhiều khi mỗi thử nghiệm bị hủy chỉ tính phí cho số giây thực sự chạy.
• Phiên làm việc notebook tương tác: một nhà nghiên cứu khởi động GPU cho một phiên gỡ lỗi mười phút và tắt nó sẽ trả tiền cho mười phút, không phải một giờ.
• Công việc theo lô có độ dài không dự đoán được: kết xuất khung hình, chạy một lô embeddings, hoặc chuyển mã clip mà thời gian chạy thay đổi từ vài giây đến vài phút cho mỗi tác vụ.

Ngược lại, nếu bạn giữ một GPU cố định cho nhiều ngày đào tạo liên tục, độ chi tiết tính phí gần như không quan trọng và bạn nên cân nhắc các yếu tố khác — kết nối, VRAM, giảm giá spot và lưu trữ — nhiều hơn.

Những đánh đổi và các điều khoản chi tiết

Tính phí theo giây gần như luôn là một điểm cộng, nhưng nó không tồn tại độc lập, và một vài chi tiết quyết định liệu lợi thế chính có thực sự hay không:

• Phí tối thiểu: nhiều nhà cung cấp áp dụng thời gian tính phí tối thiểu, thường là 60 giây đầu tiên. Nếu công việc của bạn dưới một phút, mức sàn này quan trọng, vì vậy hãy kiểm tra xem có áp dụng mức tối thiểu không và thời gian là bao lâu.
• Thời điểm bắt đầu tính giờ: xác nhận xem việc tính phí bắt đầu khi phiên bản được cấp phát, khi khởi động hoặc khi GPU sẵn sàng. Thời gian khởi động lạnh, tải ảnh và khởi tạo driver đều có thể nằm trong khoảng thời gian tính phí, vì vậy mức giá nhanh kết hợp với khởi động chậm có thể làm mất đi khoản tiết kiệm.
• Phí lưu trữ và IP: việc tính phí GPU có thể dừng ngay khi bạn kết thúc phiên bản, nhưng các ổ đĩa gắn liền, snapshot và IP dự trữ thường vẫn tiếp tục tính phí. Tính phí theo giây cho compute không làm cho lưu trữ miễn phí.
• Phí xuất dữ liệu và truyền tải: thường được tính theo dung lượng, không theo thời gian, và không bị ảnh hưởng bởi độ chi tiết — đây là một mục riêng để so sánh.
• Giá spot và giá có thể bị gián đoạn: việc đo theo giây phù hợp tự nhiên với các phiên bản có thể bị gián đoạn, vì bạn không bị phạt khi một node chỉ tồn tại vài phút trước khi bị thu hồi. Kết hợp chúng phù hợp với công việc chịu lỗi và có checkpoint.

Những điều cần kiểm tra trong bảng so sánh trên

Khi đọc danh sách, hãy coi tính phí theo giây là một trục trong số nhiều trục thay vì là yếu tố quyết định duy nhất:

1. Xác nhận độ chi tiết thực sự là theo giây, không phải theo phút nhưng quảng cáo lỏng lẻo là “tính theo giây.”
2. Tìm thời gian tính phí tối thiểu và điểm bắt đầu đồng hồ đo.
3. Ước lượng thời gian công việc điển hình và tần suất khởi động/dừng — độ chi tiết càng cao càng có lợi tương ứng với độ ngắn và tần suất công việc của bạn.
4. Tách biệt việc tính phí compute với lưu trữ, mạng và phí tài nguyên nhàn rỗi, những thứ mà độ chi tiết không giải quyết được.
5. Đối chiếu với mẫu GPU và khả năng có sẵn on-demand hay spot để bạn không tối ưu hóa từng giây trên phần cứng không phù hợp với khối lượng công việc.

Giá trực tiếp thay đổi liên tục và khác nhau theo vùng và loại phiên bản, vì vậy hãy sử dụng bảng so sánh trên cho giá theo giây hiện tại thay vì bất kỳ con số cố định nào.

Câu hỏi thường gặp

Tính phí theo giây có làm cho GPU rẻ hơn đáng kể không?

Nó chỉ giảm chi phí hiệu quả của bạn khi công việc của bạn ngắn hoặc được chạy lại thường xuyên. Đối với các lần chạy dài liên tục, khoản tiết kiệm so với tính phí theo giờ là không đáng kể; đối với các khối lượng công việc bùng phát, tự động mở rộng hoặc thử nghiệm với nhiều phiên bản ngắn, việc loại bỏ làm tròn có thể tạo ra sự giảm thực sự trên hóa đơn của bạn.

Có thường có phí tối thiểu khi tính phí theo giây không?

Thường có. Nhiều nhà cung cấp tính phí tối thiểu — thường là phút đầu tiên — ngay cả khi phiên bản chỉ chạy vài giây. Điều này nhằm ngăn chặn việc lạm dụng thay đổi liên tục. Nếu công việc của bạn dưới một phút, hãy xác nhận mức tối thiểu trước khi cho rằng bạn chỉ trả tiền cho từng giây thực tế.

Đồng hồ đo theo giây bắt đầu và dừng khi nào?

Điều này thay đổi. Một số nhà cung cấp bắt đầu đo khi cấp phát, số khác khi khởi động hoặc khi GPU sẵn sàng sử dụng. Thời gian khởi động lạnh, tải ảnh và thiết lập driver có thể nằm trong khoảng thời gian tính phí, vì vậy mức giá nhanh kết hợp với khởi động chậm có thể tệ hơn mức giá cao hơn chút nhưng khởi động nhanh.

Tính phí theo giây có áp dụng cho lưu trữ và truyền dữ liệu không?

Không. Độ chi tiết theo giây thường chỉ áp dụng cho compute GPU. Các ổ đĩa gắn liền, snapshot, IP dự trữ và phí xuất dữ liệu thường được tính riêng — theo dung lượng hoặc theo khối lượng — và tiếp tục phát sinh ngay cả sau khi phiên bản GPU bị kết thúc.