Hiệu suất tensor core của NVIDIA A10G

Trả lời

NVIDIA A10G là một card Ampere cung cấp 70 TFLOPS FP16 và 35 TFLOPS FP32 cùng với băng thông bộ nhớ 600 GB/s. Đó là sức mạnh tính toán đủ để xử lý huấn luyện mô hình hiện đại và khối lượng công việc phục vụ thời gian thực ở quy mô lớn.

Điểm chuẩn cho thấy NVIDIA A10G hoạt động đặc biệt tốt trên các mô hình kiểu transformer nơi tensor core được bão hòa bởi các phép nhân ma trận lớn. Các mô hình khuếch tán, xử lý giọng nói và thị giác cũng thấy tăng tốc mạnh so với các thế hệ cũ hơn. Đối với phục vụ thời gian thực nhạy cảm với độ trễ, NVIDIA A10G thường đạt được tốc độ token trên giây mục tiêu trên các mô hình ngôn ngữ lớn vượt xa ngưỡng 30-50 tok/s mà hầu hết sản phẩm hướng tới.

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.