Quantas imagens por segundo NVIDIA B100 pode gerar?

Resposta

Desempenho benchmark em NVIDIA B100: 1,750 TFLOPS em FP16, 60 TFLOPS em FP32, 8,000 GB/s de largura de banda de memória, 192 GB de VRAM.

Para as cargas de trabalho que mais interessam aos engenheiros — treinamento de modelos da família transformer, serving de inferência LLM de baixa latência, execução de pipelines de difusão e visão — essas especificações são suficientes para sustentar tamanhos de lote que mantêm os núcleos tensor ocupados. Espere ganhos de tempo de relógio em relação às placas Blackwell da geração anterior variando de 1,5x a 3x dependendo do formato da carga de trabalho.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.