เช่า NVIDIA B100 บนคลาวด์

สรุปฮาร์ดแวร์สำหรับ NVIDIA B100: สถาปัตยกรรม Blackwell, VRAM 192 GB HBM3e, แบนด์วิดธ์ 8,000 GB/s, FP16 1,750 TFLOPS, FP32 60 TFLOPS, TDP 700W, ปี 2024

สเปกเหล่านี้จัดกลุ่ม NVIDIA B100 อย่างมั่นคงในยุคใหม่ของตัวเร่งความเร็ว AI ว่าจะเหมาะสมหรือไม่ขึ้นอยู่กับว่าคอขวดของคุณคือความจุ (VRAM), อัตราการประมวลผล (แบนด์วิดธ์หรือ TFLOPS) หรือค่าใช้จ่าย — ทั้งสามอย่างมีความสำคัญมากกว่าตัวเลขเดี่ยวใดๆ

Full specs, benchmarks, and comparisons are on the NVIDIA B100 page.

ประสิทธิภาพที่ทดสอบบน NVIDIA B100: 1,750 TFLOPS ใน FP16, 60 TFLOPS ใน FP32, แบนด์วิดท์หน่วยความจำ 8,000 GB/s, VRAM 192 GB

สำหรับงานที่วิศวกรส่วนใหญ่สนใจ — การฝึกสอนโมเดลในตระกูลทรานส์ฟอร์เมอร์, การให้บริการ LLM ที่มีความหน่วงต่ำ, การรัน pipeline diffusion และวิสัยทัศน์ — สเปคเหล่านี้เพียงพอที่จะรองรับขนาดแบตช์ที่ทำให้ tensor cores ทำงานอย่างต่อเนื่อง คาดว่าการเพิ่มขึ้นของเวลาจริงเมื่อเทียบกับการ์ด Blackwell รุ่นก่อนหน้าจะอยู่ระหว่าง 1.5x ถึง 3x ขึ้นอยู่กับลักษณะงาน

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.

NVIDIA B100 เหมาะที่สุดสำหรับงานที่ 192 GB VRAM และ Blackwell tensor cores ของมันเข้ากันได้ดี: AI training, large-scale inference

ถ้างานของคุณต้องการหน่วยความจำมากกว่านี้อย่างมาก (เช่น การฝึกโมเดลระดับแนวหน้าจากศูนย์) NVIDIA B100 จะมีขนาดเล็กเกินไปและคุณควรเลือกการ์ดระดับ H100/H200/B200 ถ้างานของคุณต้องการน้อยกว่า (เช่น การให้บริการขนาดเล็กบนโมเดล 7B พารามิเตอร์) การ์ดที่ถูกกว่าอย่าง L4 หรือ RTX 4090 อาจคุ้มค่ากว่า สำหรับช่วงกลาง NVIDIA B100 มักเป็นตัวเลือกที่สมเหตุสมผล

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.