大模型服务器报价：4个数字决定贵在哪

同一张卡、同一个型号，三家给过来的大模型服务器报价能差出一大截，第一次碰这事儿的人都觉得自己被坑了。多数时候不是坑，是配置单上那几行字没对齐。GPU 整机不像买手机，看个型号就能下单；它更像买车，发动机一样，变速箱、油箱、底盘、后期保养全能拉开价差。大模型服务器报价里真正决定贵贱的，我看下来就四个数字，剩下的基本都围着这四个数在转。

大模型服务器报价的第一个数：显存有多大

显存这玩意儿是硬门槛。模型的权重加上推理时的 KV cache 全得塞进去，塞不下就得切、就得加卡、就得上并行，折腾一圈效率掉下来，摊到每个 token 上的成本反而更贵。所以拿到一份大模型服务器报价，第一眼别看总价，先看显存规格：多少 GB、什么型号、单机几张。有些单子写得含糊，只给你一句「高性能 GPU」，这种别客气，直接让对方把型号和显存容量写清楚，具体规格以厂商公开资料为准。同一个型号还有不同显存版本的情况，问清楚不吃亏。

卡的数量，不是乘一下就完事

八卡整机的价格绝对不是两卡机器乘以四那么简单。CPU 核数、内存容量、PCIe 通道、电源冗余、散热风道，全都得跟着往上堆；内存给少了 GPU 在等数据，给多了钱白花，中间那个平衡点很考验方案商的经验。还有个容易被忽略的维度：你是整机买断、整机月租，还是按卡按小时租。短期跑个微调、做个评测，按量租明显划算；长期稳定跑业务，包月或者托管才谈得上成本可控。我见过有人拿按小时的价格去比包年的报价，比完还挺生气，这属于没对齐口径。

卡间互联带宽，最容易糊弄的一栏

这一栏在低价方案里经常被藏起来。卡和卡之间是 NVLink 还是走 PCIe，机间是 InfiniBand 还是普通以太网或者 RoCE，差别大了去了。训练任务里梯度同步（All-Reduce 那套）通信量大得吓人，互联带宽不够，八张卡就在那儿互相干等，利用率上不去，你买的算力有一半在打盹。只跑推理的话 PCIe 互联未必不能接受，训练就完全是另一码事。所以问报价的时候别只问「有没有高速互联」，得问具体方案：卡间用的什么、交换机什么型号、带宽是独享还是共享。对方答得含糊，这单子就得留个心眼。

功率和机位，总账最后才跳出来

GPU 整机是电老虎，一台机器吃掉的电可能顶得上一小排普通服务器。功率上去了，普通机柜的配电根本扛不住，得换高密机柜、改双路供电、甚至考虑液冷，这些最后都会以托管费或者电费的形式回到你账上。谈托管的时候一定把口径问清楚：按整机报价还是按 kW 报价、电费含不含在里头、超出部分怎么算、机位是不是独享。这块各家写法五花八门，一切以服务商报价单和官方页面说明为准，别听口头承诺。

还有个数字常被跳过：存储和交付方式

本地 NVMe 给多大、数据集放哪儿、要不要额外的对象存储、内网带宽多少，这些看着是配角，跑起来全是要命的地方。训练时数据读不动，卡再贵也是干等着。交付方式也一样，裸金属、云主机、托管、抢占式实例，价格曲线完全不同。抢占式便宜是便宜，被回收的时候可不管你的训练跑到第几步，长任务慎用。还有扩容，今天四卡够用，半年后想加到八卡，是插卡就行还是整机换掉，这事儿最好在签之前就问明白。

拿这四个数字去比价，顺序别搞反

我一般建议这么干：让对方按显存、卡数、互联方式、电力与机位这四项拆开逐条报，别给一个打包总价就完事。拆开之后你会发现差价基本都能对上号，谁在互联上省了、谁在电力口径上打了埋伏，一目了然。然后再补三个问题：SLA 怎么承诺、运维含不含、扩容怎么计价。这几问答不上来的供应商，价格再香也得掂量掂量。

跑大模型这行，省钱从来不是靠砍总价砍出来的，是靠把钱花在你真正用得上的那一项上。推理为主就先保显存和卡数，训练为主就死磕互联和稳定性，短期验证就老老实实按小时租。四个数字对齐了，报价单上那些花里胡哨的赠送和折扣，你自然知道该不该当回事。