GPU实例是什么，和买显卡根本不是一回事

GPU实例这东西，最容易出现的误会就是把它当成一块租来的显卡。不是。你拿到手的不是硬件，是一份算力额度加上一套跑得起来的环境——卡在别人的机房里，隔着网络给你用。就像家里用电，你不用自己买发电机，插上插座按度交钱；但插座后面那台机组什么型号、能带你多大负载、跳闸了谁管，这些你得提前问清楚，不然干活干到一半会很被动。

GPU实例到底交付了什么东西

形态上大概这么几种：整卡直通给你独占、一张卡按显存切成几份各跑各的、还有容器化的算力池按需调度。你登录上去看到的是一个带驱动和 CUDA 的环境，可能是台云主机，也可能是个容器。切分粒度多细、能不能独占整卡，各家做法不一样，以服务商或官方页面说明为准，别拿别家的经验直接套过来。

交付清单里真正值得看的是三样：卡型号、显存大小、能不能多卡。型号决定算子兼容性和精度支持，显存决定你能塞进多大的模型，多卡决定你是能直接塞进去还是得回头改代码切分。至于 CPU 核数、系统盘、内存这些，够用就行，在它们身上纠结半天有点本末倒置。

为什么GPU实例和买显卡不是一回事

买卡是消费行为。功耗、机箱风道、电源接口、散热噪音、驱动冲突、哪天点不亮了找谁保修，全是你自己的事。租用等于把这一堆运维活儿外包出去，换来按时间计费和随时换型：这个月跑推理，下个月要微调，换一个实例就行，不用处理二手卡。

代价也是有的。你没有彻底 root 的自由，内核和驱动版本基本锁死；环境是镜像，重装一次之前装的那些依赖就没了；数据要上传下载，网速跟本地 PCIe 直连差一大截。所以那些「我在本地跑得好好的」的代码，搬上去第一件事往往是调依赖、调路径、调缓存目录。

显存这件事，比算力数字更容易出问题

不少人盯着算力峰值挑型号，结果模型加载到一半就显存溢出。参数是一回事，激活值、KV cache、batch size 又是另一回事。同一个模型，batch size 往上调一点，显存占用能翻好几倍，这个账要先算在前面。所以选实例最好从显存倒推：模型多大、用什么精度、并发要多少，粗粗估一遍，再看要不要上多卡。

还得看清「共享」和「独占」的区别。共享池便宜灵活，但隔壁跑满的时候你这边明显变慢，这种抖动放在离线出图还能忍，放在在线推理就很要命了。挑之前问一句这张卡是不是只给我一个人用，比看参数表有用。

计费口径，开机器之前问清楚

常见的有按小时、按卡时、包月、按实际用量这几种。容易吵起来的地方在哪？关机算不算钱、镜像和快照占的空间怎么计、闲置多久自动释放、停机之后环境保留几天。这些不写清楚，账单一出来就容易扯皮。别听口头报价，去看计费条款，以官方公告为准。

还有带宽和流量这一块。模型权重几个 G，数据集更大，公网来回拉几次，流量费有时候比算力费还显眼。能内网传的东西就别走公网，这条经验放哪都适用。

哪些活儿适合放进GPU实例

推理服务、小规模微调、批量出图、视频转码、渲染农场，这类「干一阵子就停」的需求最合适。有活就开，没活就关，不用为了一个月两三次的任务养一台机器，还得操心它落灰。

反过来，长期跑满的大训练、对延迟敏感到毫秒级的在线业务、要接特殊采集卡或者特定型号硬件的场景，租用形态可能就不太合手。还有一种很常见的误判：觉得租了卡就不用管代码效率了。批处理没做、数据管道堵在单线程上，卡再贵也在那闲着。

多卡互联，不是数量堆上去就行

有些任务单卡装不下，得上多卡。这时候要看卡之间怎么连的，走 PCIe 还是走专用互联，带宽差得远，训练时的同步开销也跟着差。再就是并行策略：数据并行、张量并行、流水并行，代码改不改得动是另一码事。租多卡前先确认这些卡是不是在同一台机器上，跨节点的「多卡」有时候只是名义上的。

上手第一周要留神的几件小事

先把驱动和 CUDA 版本对齐，别照抄本地环境；镜像里预装的框架版本很可能和你的代码打架。再把数据进出的路径想明白，能走内网就别走公网。容器里不要随手升级内核，重启之后起不来是常见事故。

顺手做个环境快照。不是为了偷懒，是踩过一次之后你会明白，能退回到昨天那个还能跑的状态，比省那十几分钟值多了。

真要在这两者之间做选择，问自己三句话：我要的显存是多少、这活是连着跑还是断断续续、数据到底放在哪。答完这三句，答案基本自己就浮出来了。别拿挑显卡那套逻辑去评价算力租用，租GPU实例看的是配额、口径和环境可控性，跟看一块卡的做工用料，完全不是一套评分表。