Nhà cung cấp GPU đám mây không tính phí xuất dữ liệu

Ý nghĩa thực sự của “phí xuất dữ liệu bằng không” khi bạn thuê GPU đám mây

Egress là dữ liệu rời khỏi mạng của nhà cung cấp — các byte bạn tải xuống từ đám mây về laptop, sang đám mây khác hoặc đến người dùng cuối. Nhiều nền tảng hạ tầng đo lường lưu lượng này và tính phí theo gigabyte, trong khi tính phí rất ít hoặc không tính phí cho ingress (dữ liệu đi vào). Một máy chủ GPU “zero egress” hoặc “$0 egress” hứa hẹn rằng việc kéo dữ liệu ra ngoài không tốn thêm chi phí nào ngoài chi phí tính toán bạn đã thuê. Trên nền tảng GPU, đây là sự khác biệt có ý nghĩa, vì các công việc AI và render thường có lưu lượng dữ liệu ra rất lớn: các điểm kiểm tra mô hình, trọng số xuất ra, khung hình đã render, kết quả suy luận hàng loạt và bộ dữ liệu tổng hợp đều phải được chuyển đi đâu đó khi GPU hoàn thành công việc.

Lý do egress được định giá riêng là vì băng thông ra internet công cộng là một chi phí thực sự cho nhà cung cấp. Các nền tảng quảng cáo không tính phí egress hoặc miễn phí egress thường là do họ hấp thụ chi phí đó vào giá thuê GPU theo giờ, hoạt động trong mạng có chi phí chuyển tiếp rẻ, hoặc giới hạn việc chuyển miễn phí chỉ trong lưu lượng đi trong mạng lưới của họ. Việc đọc xem trường hợp nào áp dụng cho từng mục trong bảng so sánh trên là điều quan trọng.

Tại sao egress lại quan trọng với các quy trình GPU thực tế

Giá thuê GPU theo giờ chỉ là một dòng trên hóa đơn. Với các công việc cần nhiều dữ liệu, việc chuyển dữ liệu có thể âm thầm trở thành hóa đơn thứ hai — và không giống như tính toán, nó rất khó dự đoán trước. Giá egress ảnh hưởng mạnh nhất trong các trường hợp sau:

• Huấn luyện xuất ra các điểm kiểm tra lớn — các mô hình hàng tỷ tham số tạo ra các điểm kiểm tra có kích thước hàng chục hoặc hàng trăm gigabyte. Nếu bạn chụp nhanh thường xuyên và sao chép mỗi điểm ra ngoài nền tảng, phí egress có thể tương đương với chi phí GPU.
• Suy luận hàng loạt với tốc độ cao — tạo embeddings, chú thích hoặc phương tiện biến đổi cho hàng triệu mục có thể khiến dung lượng đầu ra lớn hơn rất nhiều so với đầu vào. Dung lượng đầu ra đó là egress ngay khi nó rời khỏi nhà cung cấp.
• Render và video — các khung hình hoàn chỉnh và video mã hóa có kích thước lớn và gần như luôn được kéo ra để lưu trữ hoặc phân phối, khiến render trở thành một trong những công việc GPU nhạy cảm nhất với egress.
• Chuỗi công việc đa đám mây và lai — di chuyển bộ dữ liệu hoặc mô hình giữa máy chủ GPU và kho đối tượng, cơ sở dữ liệu vector hoặc tầng phục vụ riêng biệt vượt qua ranh giới mạng mỗi lần, và mỗi lần vượt ranh giới có thể bị tính phí.
• Phục vụ mô hình cho người dùng thực — nếu máy GPU trả lời các yêu cầu API, mỗi token phản hồi hoặc hình ảnh phát trực tiếp tới khách hàng là egress.

Zero egress loại bỏ phần hóa đơn tăng theo lượng bạn thực sự sử dụng kết quả tính toán. Với thử nghiệm, điều này hầu như không đáng kể; với các quy trình sản xuất chuyển hàng gigabyte mỗi giờ, nó có thể là sự khác biệt giữa hai nhà cung cấp có giá thuê GPU theo giờ gần như giống nhau.

Điều khoản chi tiết đằng sau “không phí egress”

Không phải mọi tuyên bố “miễn phí egress” đều bao phủ cùng một phạm vi, và các dấu sao là nơi người mua bị bất ngờ. Khi so sánh các mục trên, hãy kiểm tra chính xác nhà cung cấp có ý nghĩa gì:

• Egress công cộng thực sự không đo lường — bất kỳ tải xuống nào ra internet mở đều miễn phí, không tính phí theo GB. Đây là hình thức mạnh nhất và hữu ích nhất cho phục vụ sản xuất.
• Chỉ miễn phí egress nội bộ — chuyển dữ liệu miễn phí miễn là nó ở trong vùng hoặc mạng lưới của nhà cung cấp, nhưng ra internet công cộng hoặc đám mây khác vẫn bị tính phí. Chỉ hữu ích nếu lưu trữ và tính toán của bạn cùng nhà cung cấp.
• Miễn phí giới hạn, sau đó tính phí — một số gigabyte hoặc terabyte miễn phí cố định mỗi tháng, sau đó áp dụng giá egress bình thường. Phù hợp với công việc nhỏ, là bẫy cho công việc có khối lượng lớn.
• “Miễn phí” giới hạn băng thông — không tính phí theo GB, nhưng tốc độ cổng bị giới hạn, nên chuyển dữ liệu lớn chậm chứ không đắt. Bạn trả bằng thời gian thực thi GPU thay vì tiền.
• Miễn phí egress nhưng egress lưu trữ tính riêng — kéo dữ liệu từ bộ nhớ khối gắn kèm có thể miễn phí trong khi kéo từ kho đối tượng riêng biệt thì không. Ranh giới này là điểm tính phí.

Có một sự đánh đổi thực sự cần cân nhắc. Nhà cung cấp gộp miễn phí egress có thể có giá thuê GPU theo giờ cao hơn một chút, vì chi phí băng thông phải được bù đắp ở đâu đó. Với công việc ít egress — các lần huấn luyện dài giữ điểm kiểm tra tại chỗ, hoặc làm việc tương tác trên notebook — trả giá thuê thấp hơn với egress đo lường mà bạn hiếm khi dùng có thể rẻ hơn tổng thể. Lựa chọn đúng hoàn toàn phụ thuộc vào tỷ lệ đầu ra trên tính toán của bạn.

Những điều cần kiểm tra trước khi cam kết

• Miễn phí egress áp dụng cho lưu lượng internet công cộng hay chỉ chuyển nội bộ nhà cung cấp.
• Bất kỳ giới hạn hàng tháng nào trên lượng miễn phí và giá theo GB khi vượt quá giới hạn.
• Giới hạn cổng/băng thông, vì “miễn phí nhưng chậm” vẫn tốn giờ GPU khi dữ liệu truyền.
• Liệu truy xuất lưu trữ (đọc kho đối tượng, xuất snapshot) có được tính là egress riêng biệt so với egress mạng không.
• Chính sách tương tác thế nào với instance spot hoặc có thể bị gián đoạn — bạn có thể cần di chuyển dữ liệu nhanh khi node bị thu hồi, và egress đo lường trong thời hạn là điều khó chịu.

Đọc bảng so sánh egress ở trên

Ước lượng egress trước khi xem bảng: khoảng bao nhiêu gigabyte rời nền tảng mỗi lần chạy, nhân với số lần chạy mỗi tháng. Kết hợp với giá thuê GPU theo giờ được hiển thị ở trên. Một máy chủ có zero egress và giá thuê giờ cao hơn chút thường thắng trong phục vụ sản xuất, suy luận hàng loạt và render, nơi dung lượng đầu ra cao và có thể dự đoán. Với công việc nhiều huấn luyện, ít đầu ra, ưu tiên giá thuê thấp hơn và xem egress là yếu tố phụ. Vì chính sách và giá băng thông thay đổi, hãy dùng bảng so sánh trực tiếp trên để xem giá giờ hiện tại và xác nhận điều khoản egress của từng nhà cung cấp theo các điểm liệt kê ở đây.

Các câu hỏi thường gặp

“Zero egress” có nghĩa là toàn bộ chuyển dữ liệu của tôi miễn phí?

Không phải lúc nào cũng vậy. Nó thường có nghĩa là lưu lượng ra không tính phí theo gigabyte, nhưng một số nhà cung cấp giới hạn điều này chỉ với lưu lượng trong mạng của họ hoặc chỉ bao gồm một lượng cố định hàng tháng trước khi bắt đầu tính phí. Lưu lượng vào (ingress) hầu như luôn miễn phí ở mọi nơi, nên tuyên bố về egress là phần cần kiểm tra.

Phí egress có thể thêm bao nhiêu vào hóa đơn GPU?

Hoàn toàn phụ thuộc vào dung lượng đầu ra. Một vài notebook thử nghiệm tạo ra egress không đáng kể, nên phí là lỗi làm tròn. Một quy trình sản xuất xuất các điểm kiểm tra lớn, render video hoặc phục vụ phản hồi mô hình cho người dùng có thể di chuyển terabyte mỗi tháng, khi đó phí egress đo lường có thể chiếm phần lớn tổng chi phí — đôi khi gần bằng chi phí tính toán.

Tôi có nên luôn chọn nhà cung cấp zero egress không?

Không. Miễn phí egress đôi khi đi kèm giá thuê GPU theo giờ cao hơn một chút. Nếu công việc của bạn giữ dữ liệu tại chỗ — các lần huấn luyện dài, phát triển tương tác — bạn có thể trả ít hơn tổng thể với giá thuê thấp hơn và egress đo lường mà bạn hiếm khi dùng. Hãy chọn chính sách phù hợp với tỷ lệ đầu ra trên tính toán thay vì coi zero egress là luôn tốt hơn.

Miễn phí egress có bị giới hạn tốc độ không?

Có. Một số nhà cung cấp không tính phí theo gigabyte nhưng giới hạn tốc độ cổng, nên xuất dữ liệu lớn chậm chứ không đắt. Vì đồng hồ GPU có thể vẫn chạy khi dữ liệu truyền, “miễn phí nhưng chậm” vẫn có chi phí thực tế về giờ GPU. Luôn kiểm tra giới hạn băng thông cùng với giá cả.