NVIDIA GeForce RTX 3080 Ti 是数据中心卡、专业卡还是消费卡？
答案
NVIDIA GeForce RTX 3080 Ti 基于 Ampere 架构，配备 12 GB 的 GDDR6X 显存，带宽为 912 GB/s。该卡于 2021 发布，FP16 计算性能为 34.1 TFLOPS，FP32 计算性能为 17 TFLOPS，热设计功耗为 350W。
对于机器学习研究人员来说，这些数字转化为几个实际限制：显存上限决定了你能加载的最大大型语言模型权重（以及在给定序列长度下的最大批量大小），而内存带宽设定了注意力密集型推理的上限。计算吞吐量对密集矩阵乘法最为关键——预训练、大批量预训练和扩散模型。
Check the NVIDIA GeForce RTX 3080 Ti page for complete specifications and related GPU matchups.