NVIDIA B100 có thể tạo bao nhiêu hình ảnh mỗi giây?

Trả lời

Hiệu năng đo điểm chuẩn trên NVIDIA B100: 1,750 TFLOPS FP16, 60 TFLOPS FP32, 8,000 GB/s băng thông bộ nhớ, 192 GB VRAM.

Đối với các khối lượng công việc mà hầu hết kỹ sư quan tâm — huấn luyện các mô hình họ transformer, phục vụ suy luận LLM độ trễ thấp, chạy các pipeline khuếch tán và thị giác — các thông số đó đủ để duy trì kích thước lô giữ cho tensor core luôn bận rộn. Kỳ vọng tăng thời gian thực tế so với các card Blackwell thế hệ trước dao động từ 1.5x đến 3x tùy thuộc vào hình dạng khối lượng công việc.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.