ผู้ให้บริการคลาวด์ GPU ที่ดีที่สุดพร้อม NVIDIA RTX 3090

RTX 3090 คืออะไรจริง ๆ และทำไมยังคงพบเห็นในกลุ่มคลาวด์

NVIDIA GeForce RTX 3090 เปิดตัวในปี 2020 ในฐานะเรือธงของเจนเนอเรชัน Ampere ซึ่งสร้างบนชิป GA102 โดยจับคู่ GPU สำหรับผู้บริโภคขนาดใหญ่กับ หน่วยความจำ GDDR6X ขนาด 24 GB บนบัส 384 บิต ให้แบนด์วิดธ์หน่วยความจำประมาณ 936 GB/s การรวมกันของ VRAM สูงและแบนด์วิดธ์สูงในราคาผู้บริโภคนี้เองที่ทำให้การ์ดนี้กลายเป็นงานหลักในกลุ่ม GPU คลาวด์ที่เน้นงบประมาณ และทำไมมันยังคงปรากฏในการเปรียบเทียบข้างต้นหลายปีหลังจากเปิดตัว

เนื่องจากเป็นการ์ด Ampere RTX 3090 จึงมี Tensor Cores รุ่นที่สามและ RT cores รุ่นที่สอง สำหรับงาน AI ส่วนที่เกี่ยวข้องคือ Tensor Cores ซึ่งเร่งความเร็ว คณิตศาสตร์ความแม่นยำผสม FP16 และ BF16 รวมถึง INT8 และ INT4 สำหรับการอนุมาน การ์ดยังรองรับฟีเจอร์ structured sparsity ของ Ampere เพื่อเพิ่มประสิทธิภาพในโมเดลที่รองรับ สิ่งที่ ไม่มี คือการรองรับ FP8 — ซึ่งมาพร้อมกับเจนเนอเรชัน Hopper และ Ada Lovelace ในภายหลัง — ดังนั้นเวิร์กโฟลว์ที่ปรับแต่งเฉพาะสำหรับ FP8 จะไม่ได้รับประโยชน์ที่นี่

สเปกที่สำคัญเมื่อคุณเช่า

• หน่วยความจำ: 24 GB GDDR6X นี่คือจำนวนที่สำคัญที่สุดสำหรับผู้เช่า มีเพียงพอสำหรับการปรับแต่งหรือรันการอนุมานบนโมเดลหลายตัวในช่วงพารามิเตอร์ 7B–13B พร้อมการควอนไทเซชัน และรองรับการเรนเดอร์และฉากทางวิทยาศาสตร์ส่วนใหญ่ได้อย่างสบาย
• แบนด์วิดธ์: ประมาณ 936 GB/s ซึ่งช่วยให้พูลหน่วยความจำขนาดใหญ่ได้รับข้อมูลอย่างเพียงพอสำหรับขั้นตอนการอนุมานและการฝึกที่จำกัดด้วยหน่วยความจำ
• การรองรับความแม่นยำ: FP32, TF32, FP16, BF16, INT8, INT4 — ไม่มี FP8 Tensor Cores ช่วยเร่งเส้นทางความแม่นยำต่ำที่ใช้ใน ML สมัยใหม่
• การเชื่อมต่อ: PCIe Gen 4 พร้อม NVLink แบบเลือกได้ระหว่างการ์ดสองใบเท่านั้น RTX 3090 เป็นการ์ด GeForce รุ่นสุดท้ายที่มีสะพาน NVLink ทำให้การตั้งค่าคู่มีลิงก์ GPU-to-GPU ที่เร็วกว่า PCIe เพียงอย่างเดียว
• กำลังไฟและระดับความร้อน: บอร์ดกำลังไฟ 350 W ซึ่งเป็นการใช้พลังงานที่มีนัยสำคัญและเป็นส่วนหนึ่งของเหตุผลที่โฮสต์มักให้บริการเป็นอินสแตนซ์การ์ดเดี่ยวหรือคู่แทนที่จะเป็นโหนด 8 ทางที่หนาแน่น

ข้อควรระวังในทางปฏิบัติ: RTX 3090 เป็นการ์ดสำหรับผู้บริโภคและภายใต้ใบอนุญาตไดรเวอร์ของ NVIDIA ไม่ได้ออกแบบมาสำหรับการใช้งานในศูนย์ข้อมูลขนาดใหญ่เหมือนกับการ์ดซีรีส์ A และการ์ดมืออาชีพรุ่นหลัง ในกลุ่มคลาวด์คุณมักจะพบมันใน ตลาดแบบชุมชนหรือแบบ peer-to-peer มากกว่าผู้ให้บริการ hyperscaler ชั้นหนึ่ง ซึ่งเป็นส่วนหนึ่งที่ทำให้ราคาถูก

งานที่เหมาะสมกับมันจริงๆ

บัฟเฟอร์ 24 GB คือจุดเด่น เปิดโอกาสให้งานที่ไม่สามารถใส่ในการ์ด 8–16 GB ได้ในขณะที่ยังคงต้นทุนต่ำกว่าการ์ดเร่งความเร็วในศูนย์ข้อมูล ตัวอย่างที่เหมาะสมได้แก่:

• การปรับแต่งโมเดลขนาดเล็กถึงกลาง ด้วย LoRA/QLoRA ซึ่งจำนวนพารามิเตอร์ไม่มากแต่ยังต้องการพื้นที่สำหรับสถานะของ optimizer และขนาดแบตช์ที่เหมาะสม
• การอนุมานบนโมเดลภาษา 7B–13B ที่ควอนไทซ์แล้ว และการอนุมานที่สะดวกสบายบนโมเดล diffusion และวิชันส่วนใหญ่
• การเรนเดอร์ 3 มิติและการสร้างเนื้อหา — การ์ดถูกออกแบบมาสำหรับกราฟิก ดังนั้นการเร่งความเร็ว OptiX path tracing, Blender Cycles และไพพ์ไลน์ที่คล้ายกันทำงานได้ดีและได้รับประโยชน์โดยตรงจาก 24 GB สำหรับเท็กซ์เจอร์และเรขาคณิตขนาดใหญ่
• การทดลอง, การสร้างต้นแบบ และการเรียนรู้ ซึ่งต้องการ GPU ที่มีประสิทธิภาพโดยไม่ต้องจ่ายอัตราชั่วโมงที่แพง

มัน เกินความจำเป็น สำหรับโมเดลเล็กหรือการทดลองโน้ตบุ๊กเบาๆ ที่ใส่ในการ์ด 8–12 GB ราคาถูกกว่า และ แรงไม่พอ สำหรับการฝึกขนาดใหญ่ การฝึกโมเดลขนาดใหญ่ตั้งแต่ต้น หรือการฝึกแบบกระจายหลายโหนด ต้องการ GPU ศูนย์ข้อมูลที่มี HBM พร้อม NVLink/NVSwitch — ขีดจำกัด NVLink สองการ์ดและการสเกลด้วย PCIe ของ 3090 ทำให้ไม่เหมาะกับคลัสเตอร์ GPU หลายตัวที่หนาแน่น การอนุมานแบบเรียลไทม์ที่มีความพร้อมใช้งานสูงในระดับใหญ่โดยทั่วไปเหมาะกับการ์ดรุ่นใหม่ที่มี FP8 และอัตราผ่านข้อมูลสูงต่อราคามากกว่า

บริบทของค่าเช่าและความพร้อมใช้งาน

ในช่วงราคาค่าเช่า RTX 3090 อยู่ใน ระดับงบประมาณ ของการเช่า GPU — ต่ำกว่าฮาร์ดแวร์ระดับ A100/H100 และแม้แต่การ์ดมืออาชีพ Ada รุ่นใหม่กว่า ในขณะที่ให้ VRAM มากกว่าตัวเลือกที่มีราคาใกล้เคียงกัน เนื่องจากเป็นซิลิกอนผู้บริโภคเก่า อุปทานมักมาจากความจุแบบหยุดชั่วคราว, spot และโฮสต์ชุมชน ดังนั้นความพร้อมใช้งานอาจผันผวนและโฮสต์บางรายอาจดึงอินสแตนซ์กลับ สำหรับอัตรารายชั่วโมงปัจจุบันที่แน่นอนและผู้ให้บริการที่มีสต็อกในขณะนี้ ให้ใช้การเปรียบเทียบสดข้างต้นแทนตัวเลขคงที่ เพราะราคาจะเปลี่ยนแปลงตามความต้องการและแตกต่างกันมากระหว่างการให้บริการแบบ on-demand และ interruptible

คำถามที่พบบ่อย

RTX 3090 มี VRAM เท่าไหร่ และเพียงพอสำหรับ LLMs หรือไม่?

มี 24 GB GDDR6X ซึ่งเพียงพอสำหรับการรันและปรับแต่งโมเดลหลายตัวถึงประมาณช่วงพารามิเตอร์ 13B พร้อมการควอนไทเซชัน (เช่น 4-bit QLoRA) และรองรับการอนุมานควอนไทซ์ได้อย่างสะดวก โมเดลที่ใหญ่กว่านั้นโดยมากจะต้องใช้การ์ดหลายใบหรือ GPU ศูนย์ข้อมูลที่มี VRAM สูงกว่า

ฉันสามารถเชื่อมต่อ RTX 3090 สองใบเข้าด้วยกันเมื่อเช่าได้หรือไม่?

ได้ การ์ด 3090 รองรับ NVLink ระหว่างสองการ์ด และบางโฮสต์มีการตั้งค่าคู่ ซึ่งให้ลิงก์ที่เร็วกว่า PCIe เพียงอย่างเดียวสำหรับงานสอง GPU อย่างไรก็ตาม NVLink จำกัดเฉพาะคู่เท่านั้น — ไม่มี fabric แบบ NVSwitch — ดังนั้นจึงไม่สามารถสเกลได้ดีในโหนด 4 หรือ 8 GPU ที่ใช้สำหรับการฝึกแบบกระจายขนาดใหญ่

RTX 3090 รองรับ FP8 หรือฟอร์แมตความแม่นยำใหม่ล่าสุดหรือไม่?

ไม่ ในฐานะการ์ด Ampere รองรับ FP32, TF32, FP16, BF16, INT8 และ INT4 ผ่าน Tensor Cores รุ่นที่สาม รวมถึง structured sparsity FP8 ถูกแนะนำในเจนเนอเรชัน Hopper และ Ada Lovelace ภายหลัง ดังนั้นหากเวิร์กโฟลว์ของคุณพึ่งพา FP8 โดยเฉพาะ คุณควรเลือก GPU รุ่นใหม่กว่า

ทำไม RTX 3090 ถึงถูกกว่าการ์ดศูนย์ข้อมูล?

เพราะเป็นการ์ดกราฟิกสำหรับผู้บริโภคจากปี 2020 ใช้หน่วยความจำ GDDR6X แทน HBM และไม่ได้ออกแบบมาสำหรับการใช้งานในศูนย์ข้อมูลที่หนาแน่น มักมาจากความจุที่หยุดชั่วคราวหรือโฮสต์ชุมชน ซึ่งช่วยให้ราคาต่อชั่วโมงต่ำ แต่แลกมาด้วยความพร้อมใช้งานที่ไม่แน่นอนและอัตราผ่านข้อมูลสูงสุดต่ำกว่าการ์ดเร่งความเร็วที่ใช้ HBM ในปัจจุบัน