Nhà cung cấp GPU đám mây với phí xuất dữ liệu bằng không

Ý nghĩa thực sự của “phí xuất dữ liệu bằng 0” khi bạn thuê GPU đám mây

Egress là dữ liệu rời khỏi mạng của nhà cung cấp — các byte bạn tải xuống từ đám mây về máy tính xách tay, sang đám mây khác hoặc đến người dùng cuối. Nhiều nền tảng hạ tầng đo lường lưu lượng này và tính phí theo gigabyte, trong khi tính phí rất ít hoặc không tính phí ingress (dữ liệu đi vào). Một máy chủ GPU “xuất dữ liệu bằng 0” hoặc “phí xuất dữ liệu $0” hứa hẹn rằng việc kéo dữ liệu ra ngoài không tốn thêm chi phí nào ngoài chi phí tính toán bạn đã thuê. Trên nền tảng GPU, đây là sự phân biệt quan trọng, vì các công việc AI và dựng hình thường có lượng dữ liệu lớn khi xuất ra: các điểm kiểm tra mô hình, trọng số xuất ra, khung hình đã dựng, kết quả suy luận theo lô và bộ dữ liệu tổng hợp đều phải được chuyển đi đâu đó khi GPU hoàn thành.

Lý do phí xuất dữ liệu được định giá riêng là vì băng thông ra internet công cộng là một chi phí thực sự cho nhà cung cấp. Các nền tảng quảng cáo không tính phí xuất dữ liệu hoặc miễn phí xuất dữ liệu có thể đang hấp thụ chi phí đó vào giá thuê GPU theo giờ, hoạt động trong mạng có chi phí truyền dẫn rẻ, hoặc giới hạn việc chuyển miễn phí chỉ trong lưu lượng nội bộ của họ. Việc đọc xem trường hợp nào áp dụng cho từng mục trong bảng so sánh trên là toàn bộ trò chơi.

Tại sao phí xuất dữ liệu lại quan trọng với các quy trình GPU thực tế

Giá thuê GPU theo giờ chỉ là một dòng trên hóa đơn. Với các công việc cần nhiều dữ liệu, việc chuyển dữ liệu có thể âm thầm trở thành hóa đơn thứ hai — và không giống như tính toán, nó khó dự đoán trước. Giá xuất dữ liệu tác động mạnh nhất trong các trường hợp sau:

• Huấn luyện xuất ra các điểm kiểm tra lớn — các mô hình có hàng tỷ tham số tạo ra các điểm kiểm tra có kích thước hàng chục hoặc hàng trăm gigabyte. Nếu bạn chụp nhanh thường xuyên và sao chép từng điểm ra ngoài nền tảng, phí xuất dữ liệu có thể sánh ngang với chi phí GPU.
• Suy luận theo lô với tốc độ cao — tạo embeddings, chú thích hoặc media biến đổi cho hàng triệu mục nghĩa là khối lượng đầu ra có thể lớn hơn rất nhiều so với đầu vào. Đầu ra đó là xuất dữ liệu ngay khi nó rời nhà cung cấp.
• Dựng hình và video — các khung hình hoàn chỉnh và video mã hóa thường rất lớn và hầu như luôn được kéo ra để lưu trữ hoặc phân phối, khiến dựng hình trở thành một trong những công việc GPU nhạy cảm nhất với phí xuất dữ liệu.
• Các quy trình đa đám mây và lai — di chuyển bộ dữ liệu hoặc mô hình giữa máy chủ GPU và kho đối tượng riêng biệt, cơ sở dữ liệu vector hoặc tầng phục vụ luôn vượt qua ranh giới mạng mỗi lần, và mỗi lần vượt qua có thể bị tính phí.
• Phục vụ mô hình cho người dùng thực — nếu chính máy GPU trả lời các yêu cầu API, mỗi token phản hồi hoặc hình ảnh truyền đến khách hàng là xuất dữ liệu.

Phí xuất dữ liệu bằng 0 loại bỏ phần hóa đơn tỷ lệ với lượng bạn thực sự sử dụng kết quả tính toán. Với thử nghiệm, nó gần như không đáng kể; với các quy trình sản xuất chuyển hàng gigabyte mỗi giờ, nó có thể là sự khác biệt giữa hai nhà cung cấp có giá thuê GPU theo giờ trông giống hệt nhau.

Điều khoản chi tiết đằng sau “không phí xuất dữ liệu”

Không phải mọi tuyên bố “miễn phí xuất dữ liệu” đều bao gồm cùng một điều, và các dấu sao là nơi người mua bị bất ngờ. Khi so sánh các mục trên, hãy kiểm tra chính xác nhà cung cấp có ý nghĩa điều nào sau đây:

• Xuất dữ liệu công cộng thực sự không đo lường — bất kỳ tải xuống nào ra internet mở đều miễn phí, không tính phí theo GB. Đây là hình thức mạnh nhất và hữu ích nhất cho phục vụ sản xuất.
• Chỉ miễn phí xuất dữ liệu nội bộ — chuyển dữ liệu miễn phí miễn là nó ở trong vùng hoặc mạng lõi của nhà cung cấp, nhưng ra internet công cộng hoặc đám mây khác vẫn bị tính phí. Chỉ hữu ích nếu lưu trữ và tính toán của bạn cùng nhà cung cấp.
• Miễn phí theo hạn mức hào phóng, sau đó tính phí — một số gigabyte hoặc terabyte miễn phí cố định mỗi tháng, sau đó áp dụng giá xuất dữ liệu bình thường. Phù hợp với công việc nhỏ, là bẫy với công việc có khối lượng lớn.
• “Miễn phí” giới hạn băng thông — không tính phí theo GB, nhưng tốc độ cổng bị giới hạn, nên chuyển dữ liệu lớn chậm thay vì đắt. Bạn trả bằng thời gian thực tế thay vì tiền.
• Miễn phí xuất dữ liệu nhưng xuất dữ liệu lưu trữ tính riêng — kéo dữ liệu từ bộ nhớ khối gắn kèm có thể miễn phí trong khi kéo từ kho đối tượng riêng biệt thì không. Ranh giới đó là phần bị tính phí.

Có một sự đánh đổi thực sự cần cân nhắc. Nhà cung cấp bao gồm xuất dữ liệu miễn phí có thể có giá thuê GPU theo giờ cao hơn một chút, vì chi phí băng thông phải được gánh ở đâu đó. Với công việc ít xuất dữ liệu — các lần huấn luyện dài giữ điểm kiểm tra tại chỗ, hoặc làm việc tương tác trên notebook — trả giá thuê thấp hơn với xuất dữ liệu đo lường mà bạn hiếm khi dùng có thể rẻ hơn tổng thể. Lựa chọn đúng hoàn toàn phụ thuộc vào tỷ lệ đầu ra trên tính toán của bạn.

Những điều cần kiểm tra trước khi bạn cam kết

• Miễn phí xuất dữ liệu áp dụng cho lưu lượng internet công cộng hay chỉ chuyển nội bộ nhà cung cấp.
• Bất kỳ hạn mức hàng tháng nào cho mức miễn phí và giá theo GB khi vượt quá.
• Giới hạn cổng/băng thông, vì “miễn phí nhưng chậm” vẫn tốn giờ GPU khi dữ liệu chảy ra.
• Việc truy xuất lưu trữ (đọc kho đối tượng, xuất snapshot) có được tính là xuất dữ liệu riêng biệt với xuất dữ liệu mạng không.
• Chính sách tương tác thế nào với các phiên bản spot hoặc có thể bị gián đoạn — bạn có thể cần di chuyển dữ liệu nhanh khi một nút bị thu hồi, và xuất dữ liệu tính phí theo thời hạn là điều khó chịu.

Đọc bảng so sánh trên về xuất dữ liệu

Ước lượng xuất dữ liệu trước khi xem bảng: khoảng bao nhiêu gigabyte rời nền tảng mỗi lần chạy, nhân với số lần chạy mỗi tháng. Kết hợp với giá thuê GPU theo giờ được hiển thị ở trên. Một máy chủ không tính phí xuất dữ liệu và giá thuê theo giờ cao hơn một chút thường thắng trong phục vụ sản xuất, suy luận theo lô và dựng hình, nơi khối lượng đầu ra cao và có thể dự đoán. Với công việc nhiều huấn luyện, ít đầu ra, hãy cân nhắc giá thuê thấp hơn trước và xem xuất dữ liệu là yếu tố phụ. Vì chính sách băng thông và giá cả thay đổi, hãy dùng bảng so sánh trực tiếp trên để xem giá theo giờ hiện tại và xác nhận điều khoản xuất dữ liệu của từng nhà cung cấp theo các điểm liệt kê ở đây.

Các câu hỏi thường gặp

“Xuất dữ liệu bằng 0” có nghĩa là tất cả chuyển dữ liệu của tôi đều miễn phí?

Không phải lúc nào cũng vậy. Nó thường có nghĩa lưu lượng đi ra không bị tính phí theo gigabyte, nhưng một số nhà cung cấp giới hạn điều đó cho lưu lượng ở trong mạng của họ, hoặc chỉ bao gồm một hạn mức miễn phí cố định hàng tháng trước khi bắt đầu tính phí. Chuyển dữ liệu vào (ingress) gần như luôn miễn phí ở mọi nơi, nên tuyên bố về xuất dữ liệu là phần cần xác minh.

Phí xuất dữ liệu có thể thực sự làm tăng hóa đơn GPU bao nhiêu?

Hoàn toàn phụ thuộc vào khối lượng đầu ra. Một vài notebook thử nghiệm tạo ra xuất dữ liệu không đáng kể, nên phí là lỗi làm tròn. Một quy trình sản xuất xuất các điểm kiểm tra lớn, dựng video hoặc phục vụ phản hồi mô hình cho người dùng có thể di chuyển terabyte mỗi tháng, khi đó phí xuất dữ liệu đo lường có thể chiếm phần lớn tổng chi phí — đôi khi gần bằng chi phí tính toán.

Tôi có nên luôn chọn nhà cung cấp không tính phí xuất dữ liệu không?

Không. Miễn phí xuất dữ liệu đôi khi đi kèm giá thuê GPU theo giờ cao hơn một chút. Nếu công việc của bạn giữ dữ liệu tại chỗ — các lần huấn luyện dài, phát triển tương tác — bạn có thể trả ít hơn tổng thể với giá thuê thấp hơn và xuất dữ liệu đo lường mà bạn hiếm khi dùng. Hãy chọn chính sách phù hợp với tỷ lệ đầu ra trên tính toán thay vì xem miễn phí xuất dữ liệu là tốt hơn tự động.

Miễn phí xuất dữ liệu có bị giới hạn tốc độ không?

Có. Một số nhà cung cấp không tính phí theo gigabyte nhưng giới hạn tốc độ cổng, nên xuất dữ liệu lớn chậm thay vì tốn kém. Vì đồng hồ GPU có thể vẫn chạy trong khi dữ liệu đang chảy ra, “miễn phí nhưng chậm” vẫn có chi phí thực tế về giờ GPU. Luôn kiểm tra giới hạn băng thông cùng với giá cả.