Nhà cung cấp GPU đám mây không tính phí xuất dữ liệu

Ý nghĩa thực sự của “phí xuất dữ liệu bằng 0” khi bạn thuê GPU đám mây

Xuất dữ liệu là dữ liệu rời khỏi mạng của nhà cung cấp — các byte bạn tải xuống từ đám mây về laptop, sang đám mây khác hoặc đến người dùng cuối. Nhiều nền tảng hạ tầng đo lường lưu lượng này và tính phí theo gigabyte, trong khi gần như không tính phí hoặc tính rất ít cho nhập dữ liệu (dữ liệu đi vào). Một máy chủ GPU “xuất dữ liệu bằng 0” hoặc “$0 xuất dữ liệu” hứa hẹn rằng việc lấy dữ liệu ra không tốn thêm chi phí nào ngoài chi phí tính toán bạn đã thuê. Trên nền tảng GPU, đây là một điểm khác biệt quan trọng, vì các công việc AI và dựng hình thường có lượng dữ liệu lớn khi xuất ra: các điểm kiểm tra mô hình, trọng số xuất ra, khung hình dựng xong, kết quả suy luận theo lô và bộ dữ liệu tổng hợp đều phải được chuyển đi đâu đó khi GPU hoàn thành.

Lý do phí xuất dữ liệu được tính riêng là vì băng thông ra internet công cộng là một chi phí thực sự cho nhà cung cấp. Các nền tảng quảng cáo không tính phí xuất dữ liệu hoặc miễn phí xuất dữ liệu thường là họ gộp chi phí đó vào giá thuê GPU theo giờ, hoạt động trong mạng có chi phí truyền tải rẻ, hoặc giới hạn chuyển miễn phí chỉ trong phạm vi mạng nội bộ của họ. Việc đọc xem trường hợp nào áp dụng cho từng mục trong bảng so sánh trên là điều quan trọng nhất.

Tại sao phí xuất dữ liệu quan trọng với các quy trình GPU thực tế

Giá thuê GPU theo giờ chỉ là một dòng trên hóa đơn. Với các công việc cần nhiều dữ liệu, phí chuyển dữ liệu có thể âm thầm trở thành hóa đơn thứ hai — và không giống như chi phí tính toán, nó rất khó dự đoán trước. Phí xuất dữ liệu ảnh hưởng nặng nhất trong các trường hợp sau:

• Huấn luyện xuất ra các điểm kiểm tra lớn — các mô hình có hàng tỷ tham số tạo ra điểm kiểm tra có kích thước hàng chục hoặc hàng trăm gigabyte. Nếu bạn chụp nhanh thường xuyên và sao chép từng điểm ra ngoài nền tảng, phí xuất dữ liệu có thể bằng với chi phí GPU.
• Suy luận theo lô với lưu lượng cao — tạo embeddings, chú thích hoặc phương tiện đã biến đổi cho hàng triệu mục nghĩa là dung lượng đầu ra có thể lớn hơn rất nhiều so với đầu vào. Dữ liệu đầu ra này được tính là xuất dữ liệu ngay khi rời khỏi nhà cung cấp.
• Dựng hình và video — các khung hình hoàn chỉnh và video đã mã hóa có kích thước lớn và gần như luôn được tải về lưu trữ hoặc phân phối, khiến dựng hình trở thành một trong những công việc GPU nhạy cảm nhất với phí xuất dữ liệu.
• Chuỗi đa đám mây và lai — di chuyển bộ dữ liệu hoặc mô hình giữa máy chủ GPU và kho đối tượng riêng biệt, cơ sở dữ liệu vector hoặc tầng phục vụ là vượt qua ranh giới mạng mỗi lần, và mỗi lần vượt qua có thể bị tính phí.
• Phục vụ mô hình cho người dùng thực — nếu máy GPU trực tiếp trả lời yêu cầu API, mỗi token phản hồi hoặc hình ảnh truyền đến khách hàng đều là xuất dữ liệu.

Xuất dữ liệu bằng 0 loại bỏ phần hóa đơn tăng theo lượng bạn thực sự sử dụng kết quả tính toán. Với thử nghiệm thì gần như không đáng kể; với các quy trình sản xuất chuyển hàng gigabyte mỗi giờ, nó có thể là sự khác biệt giữa hai nhà cung cấp có giá thuê GPU theo giờ gần như giống hệt nhau.

Điều khoản chi tiết đằng sau “không tính phí xuất dữ liệu”

Không phải mọi tuyên bố “xuất dữ liệu miễn phí” đều bao phủ cùng một phạm vi, và các dấu sao là nơi người mua thường bị bất ngờ. Khi so sánh các mục trên, hãy kiểm tra chính xác nhà cung cấp có ý gì:

• Xuất dữ liệu công cộng thực sự không đo lường — bất kỳ tải xuống nào ra internet công cộng đều miễn phí, không tính phí theo gigabyte. Đây là hình thức mạnh nhất và hữu ích nhất cho phục vụ sản xuất.
• Chỉ miễn phí xuất dữ liệu nội bộ — chuyển dữ liệu miễn phí miễn là giữ trong vùng hoặc mạng nội bộ của nhà cung cấp, nhưng khi ra internet công cộng hoặc sang đám mây khác vẫn bị tính phí. Chỉ hữu ích nếu lưu trữ và tính toán cùng nhà cung cấp.
• Miễn phí theo hạn mức cố định, sau đó tính phí — số gigabyte hoặc terabyte miễn phí cố định mỗi tháng, sau đó áp dụng mức phí xuất dữ liệu bình thường. Phù hợp cho công việc nhỏ, là bẫy cho công việc có lưu lượng lớn.
• “Miễn phí” giới hạn băng thông — không tính phí theo gigabyte, nhưng tốc độ cổng bị giới hạn, nên chuyển lượng lớn sẽ chậm thay vì đắt. Bạn trả bằng thời gian thực thi GPU thay vì tiền.
• Miễn phí xuất dữ liệu nhưng xuất dữ liệu từ lưu trữ tính riêng — kéo dữ liệu từ bộ nhớ khối gắn kèm có thể miễn phí trong khi kéo từ kho đối tượng riêng biệt thì không. Ranh giới đó là điểm bị tính phí.

Có một sự đánh đổi thực sự cần cân nhắc. Nhà cung cấp gộp miễn phí xuất dữ liệu có thể có giá thuê GPU theo giờ cao hơn một chút, vì chi phí băng thông phải được tính ở đâu đó. Với công việc ít xuất dữ liệu — chạy huấn luyện dài giữ điểm kiểm tra tại chỗ, hoặc làm việc tương tác trên notebook — trả giá thuê thấp hơn với xuất dữ liệu đo lường mà bạn hiếm khi dùng có thể rẻ hơn tổng thể. Lựa chọn đúng hoàn toàn phụ thuộc vào tỷ lệ đầu ra trên tính toán của bạn.

Những điều cần kiểm tra trước khi cam kết

• Miễn phí xuất dữ liệu áp dụng cho lưu lượng internet công cộng hay chỉ chuyển nội bộ nhà cung cấp.
• Bất kỳ giới hạn hàng tháng nào về lượng miễn phí và mức phí theo gigabyte khi vượt quá.
• Giới hạn cổng/băng thông, vì “miễn phí nhưng chậm” vẫn tốn giờ GPU khi dữ liệu truyền đi.
• Việc lấy dữ liệu từ lưu trữ (đọc kho đối tượng, xuất snapshot) có được tính riêng với xuất dữ liệu mạng hay không.
• Chính sách áp dụng thế nào với các phiên bản spot hoặc có thể bị gián đoạn — bạn có thể cần di chuyển dữ liệu nhanh khi node bị thu hồi, và phí xuất dữ liệu đo lường trong thời hạn gấp rút rất khó chịu.

Đọc bảng so sánh trên về xuất dữ liệu

Ước tính lượng xuất dữ liệu trước khi xem bảng: khoảng bao nhiêu gigabyte rời nền tảng mỗi lần chạy, nhân với số lần chạy mỗi tháng. Kết hợp với giá thuê GPU theo giờ đã cho ở trên. Máy chủ có xuất dữ liệu bằng 0 và giá thuê theo giờ cao hơn chút thường thắng trong phục vụ sản xuất, suy luận theo lô và dựng hình, nơi lượng đầu ra lớn và dễ dự đoán. Với công việc nặng huấn luyện, ít đầu ra, hãy ưu tiên giá thuê thấp hơn trước và coi xuất dữ liệu là yếu tố phụ. Vì chính sách băng thông và giá cả thay đổi, hãy dùng bảng so sánh trực tiếp trên để xem giá hiện tại theo giờ và xác nhận điều khoản xuất dữ liệu của từng nhà cung cấp theo các điểm đã liệt kê ở đây.

Các câu hỏi thường gặp

“Xuất dữ liệu bằng 0” có nghĩa là tất cả chuyển dữ liệu của tôi đều miễn phí?

Không phải lúc nào cũng vậy. Nó thường có nghĩa là lưu lượng ra không bị tính phí theo gigabyte, nhưng một số nhà cung cấp giới hạn điều đó trong lưu lượng nội bộ mạng họ, hoặc chỉ bao gồm một hạn mức miễn phí cố định hàng tháng trước khi bắt đầu tính phí. Lưu lượng vào (nhập dữ liệu) hầu như luôn miễn phí ở mọi nơi, nên tuyên bố về xuất dữ liệu là phần cần xác minh.

Phí xuất dữ liệu có thể tăng hóa đơn GPU bao nhiêu?

Hoàn toàn phụ thuộc vào lượng đầu ra. Một vài notebook thử nghiệm tạo ra xuất dữ liệu rất nhỏ, nên phí gần như không đáng kể. Một quy trình sản xuất xuất các điểm kiểm tra lớn, dựng video hoặc phục vụ phản hồi mô hình cho người dùng có thể di chuyển terabyte mỗi tháng, khi đó phí xuất dữ liệu đo lường có thể chiếm phần lớn tổng chi phí — đôi khi gần bằng chi phí tính toán.

Tôi có nên luôn chọn nhà cung cấp xuất dữ liệu bằng 0 không?

Không. Miễn phí xuất dữ liệu đôi khi đi kèm giá thuê GPU theo giờ cao hơn chút. Nếu công việc của bạn giữ dữ liệu tại chỗ — chạy huấn luyện dài, phát triển tương tác — bạn có thể trả ít hơn tổng thể với giá thuê thấp hơn và phí xuất dữ liệu đo lường mà bạn hiếm khi dùng. Hãy chọn chính sách phù hợp với tỷ lệ đầu ra trên tính toán thay vì coi xuất dữ liệu bằng 0 là tốt hơn tự động.

Miễn phí xuất dữ liệu có bị giới hạn tốc độ không?

Có. Một số nhà cung cấp không tính phí theo gigabyte nhưng giới hạn tốc độ cổng, nên xuất dữ liệu lớn sẽ chậm thay vì tốn kém. Vì đồng hồ GPU có thể vẫn chạy trong khi dữ liệu truyền đi, “miễn phí nhưng chậm” vẫn có chi phí thực tế về giờ GPU. Luôn kiểm tra giới hạn băng thông cùng với giá cả.