GPU型号选择：3个参数比算力更该看

GPU 采购最容易出问题的地方，不在预算不够，而在预算花完才发现方向买错了。算力表上那个 TFLOPS 当然重要，可它只说明理论上能跑多快，不说明你的模型在上面放不放得下、跑不跑得起来、跑起来之后会不会被别的环节卡死。所以做 GPU型号选择 的时候，我会先把算力往后放一放，先看三个更基础的东西：显存、卡与卡之间的互联、精度和软件生态。这三样对不上，算力再高也是白搭。

GPU型号选择第一步：显存先过关

显存这事，很多人第一反应是够用就行。问题是够用的边界会变。今天跑个小模型觉得一张卡绰绰有余，过两个月要上长上下文、要把 batch 开大提高吞吐、要微调，显存立刻紧。显存不够只有两条路：切分，把模型拆到多卡；或者降配，减 batch 减上下文。前者多花卡和带宽，后者直接掉吞吐，都不是买卡时想要的。所以判断标准不是现在够，而是留出余量之后还够。余量按什么算，看你要不要微调、要不要上更长上下文，各框架的显存占用也不一样，以你自己实测为准，别照抄别人的经验值。

容量之外，显存带宽更容易被忽略

容量决定放不放得下，带宽决定喂不喂得饱。同样容量，带宽差一截，推理的 tokens 每秒就差出去不少。规格页上一般写显存类型和带宽数值，GDDR 还是 HBM、多少 GB/s，这个数字可以直接横向对比，比算力那个虚头巴脑的峰值实在得多。要注意厂商标的是理论峰值，实际能跑出多少还看访存模式和 kernel 写得好不好，所以别只信纸面，后面会说怎么自己跑一遍。

第二个参数：卡和卡之间那条路

单卡放得下的模型，互联基本无所谓；一旦要跨卡，互联就是天花板。卡间走普通 PCIe 还是走专门的高速链路，差的是数量级。八卡机器如果拓扑没配好，几张大卡挤在同一个 switch 下面，训练时通信立刻成瓶颈，卡再多也发挥不出来。跨机更明显，要看网卡和交换机，RoCE 或 InfiniBand 那一套，配套还有交换机端口够不够、光模块和线材这些琐碎但要花钱的东西。判断方法很土：先问自己模型要不要跨卡、跨几张，再决定互联买什么档次。不上多卡还为互联付钱，那是浪费。

第三个参数：精度支持和软件生态

精度这块最典型。新卡往往主推低精度，FP8、INT8 看着香，吞吐能翻上去；可你的模型、框架版本、算子库不一定跟得上。买了张只擅长新精度的卡，结果代码只能跑在 FP16 上，那点优势等于没用。反过来，老一些的卡可能不认 BF16，微调时要么退回 FP16 提心吊胆，要么堆一堆绕行写法。这些算力表上不会写，得自己核对：框架版本、CUDA 或 ROCm 版本、常用算子有没有实现、量化工具链支不支持。

生态更是隐形成本。驱动和框架版本对不上，报错能查到人崩溃；新架构刚上市那几个月，驱动和库还在打补丁，能跑通是一回事，稳定又是另一回事。所以买新卡我会多留一段时间做验证，别指望开箱即用。具体版本支持到哪一代，以厂商和框架的官方说明为准，别拿论坛里的旧帖子当依据。

顺手提两句功耗和机房

功耗不在标题说的三个参数里，却很容易把人拦在门口。大卡 TDP 摆在那，八卡一装单机功率就上去了，机柜供电、配电、UPS、散热、风冷还是液冷，全都要重新算。有些机房给不出那么大功率，卡买回来装不进去，这就尴尬了。还有噪音，高密度风冷机器在托管环境里容易被投诉。电费是长期账，跑得越满越明显。这些数字以厂商规格页和机房实际条件为准，别拿别人的配置单直接抄。

租还是买，跟选型是同一件事

云上按卡时或包月，最大好处是试错成本低。拿不准某个型号适不适合自己的模型，短租一段跑真实负载，比看一百篇评测管用。跑完你就知道显存占多少、吞吐多少、瓶颈在哪，再决定买不买、买几张。真买还要想可替换性：备件好不好找、二手残值、后续能不能混插同代卡。这些不写进参数表，但两三年后会实打实影响整体成本。

别信跑分，用自己的东西跑一轮

公开跑分大多跑标准模型、标准精度、理想散热，跟你的场景差得远。该做的是拿自己的模型、自己的数据、自己的并发，在候选卡上跑一轮，盯三个数：显存占到多少、吞吐多少、连续跑几个小时会不会掉频。对比时固定框架和驱动版本，不然测出来的差异说不清是谁的功劳。有条件的话让服务商陪你一起测，把测试环境和版本记下来，后面复现方便。

所以顺序倒过来更省事：先列模型和场景，算出显存和带宽的底线；再看要不要跨卡，定互联档次；然后核对精度和生态，把跑不动的先划掉；功耗和机房条件到现场确认一遍；最后才拿算力表去比价。顺序反了，很容易被那张漂亮的算力数字带着走。真拿不准就短租一台做实测，一笔测试费，比买错一张卡便宜太多。