NVIDIA B100가 초당 생성할 수 있는 이미지 수는 얼마인가요?

답변

NVIDIA B100의 벤치마크 성능: FP16에서 1,750 TFLOPS, FP32에서 60 TFLOPS, 8,000 GB/s 메모리 대역폭, 192 GB VRAM.

대부분 엔지니어가 관심 갖는 작업 부하 — 트랜스포머 계열 모델 학습, LLM 저지연 추론 서빙, 확산 및 비전 파이프라인 실행 — 에 대해 이 사양은 텐서 코어를 바쁘게 유지할 수 있는 배치 크기를 지속할 수 있습니다. 이전 세대 Blackwell 카드 대비 벽시계 시간 향상은 작업 부하 형태에 따라 1.5배에서 3배까지 기대할 수 있습니다.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.