GPU模式选择，直通还是虚拟化差在哪

gpu模式选择这事，说复杂也复杂，说简单就一句话：你要的是一整块卡独享，还是想把一块卡切给几个人一起用。这两条路分别叫直通和虚拟化，名字听着像技术黑话，落到实际就是钱、性能和灵活度三样东西在互相拉扯。见过太多人下单前没想清楚，机器开好、模型跑起来才发现显存不够、驱动装不上，再改模式又是一轮折腾，工期全耽误在这上面。

gpu模式选择的两条路，差在”谁管这张卡”

直通，也就是常说的 passthrough，把整块物理卡划给一台虚拟机，虚拟机里的操作系统直接看到这张卡，装厂商驱动、跑 CUDA，跟装在一台裸机上差不多。虚拟化则是在宿主机这一层把卡切开，常见的有厂商的 vGPU 方案、MIG 那种硬件切分，还有时间片轮转一类的软件切分。差别不在谁更先进，而在”卡归谁管”和”虚拟机里能看见几张卡”这几个问题上。

直通：性能最实在，但卡被绑死了

直通最让人舒服的地方是没有中间层。显卡驱动、显存、中断全由虚拟机自己处理，跑训练、跑推理基本能贴近裸机的表现，单卡性能想压榨到位，这条路没什么可犹豫的。模型加载速度、推理延迟这些体感指标，直通一般不会让你失望。

代价是独占。一块卡给了一台机器，别人就甭想用。要是买的是一台八卡的机器，切成八台虚拟机各拿一张，没问题；单卡机器就只能跑一个实例，谁也别想分。还有一点容易被忽略：开了直通，这台虚拟机做快照、热迁移这类操作会很受限，带直通设备做内存快照经常出各种别扭。生产环境要做高可用，这一条得提前算进去。另外宿主机自己就看不到这张卡了，宿主机要图形输出得另找一块卡或者走核显，这个细节买机器前基本没人提。

虚拟化：切卡省成本，代价藏在细节里

虚拟化的动机很直白，一块卡几个人分，成本摊薄，还能给每人分不同配额。vGPU 方案能让你在管理控制台里配显存大小、配几个实例，多人协作时管理起来比直通省心。MIG 是硬件级切分，切成几块互相隔离的算力片，互相之间干扰小，延迟表现比软切稳一些，缺点是切法固定，得按官方文档里给的规格来，不能想怎么切就怎么切。

代价也有。显存是按份配的，你分到多少就只能用多少，跑大模型的时候这个限制很硬，超一点都不行。再就是许可，不少厂商的 vGPU 能力要单独买许可，具体怎么算钱、按什么口径计费，以厂商和服务商的官方页面说明为准，别听群里随口一句报价就当真，回头对不上账很麻烦。软件切分还会有额外开销，中断、内存映射这些环节都要多绕几道，吞吐掉一点是正常的，别拿裸机跑分直接对比。

显存这关最容易漏算

很多人挑机器的时候盯着算力参数看，最后卡在显存上。模型权重、KV cache、框架自己的缓冲，这几样加起来，显存不够就直接起不来，参数再漂亮也白搭。虚拟化方案里你只拿到一小块显存，看着卡还是同一张型号，能塞进去的东西差得远。

所以顺序我一般建议倒着来：先拿模型实跑一遍，量出实际占多少显存，再看切出来的规格够不够。不够就别硬切，直接上直通，省得来回改。反过来，如果只是跑一些轻量推理、或者多个小任务并发，切卡的优势就很明显，闲着的显存不会整块浪费掉。

驱动和版本，比模式本身更容易翻车

直通的机器里，驱动装在虚拟机里，版本要跟 CUDA、跟框架对上。虚拟化就不一样了，宿主机要装一套宿主驱动，虚拟机里装客户机驱动，两边版本还得匹配，差一个版本号可能就报错。折腾半天最后发现是宿主那边驱动没装对的情况，我见过不止一次，最耗人的就是这种不报明显错误、只是跑不起来的问题。

还有个坑，直通要在 BIOS 和内核里把 IOMMU 打开，PCIe 分组要给得合理，否则一块卡可能跟别的设备绑在一个组里，整组绑死，想单独划出来就难。这些是硬件和主板层面的活，买机器前问一嘴服务商支不支持、默认配置是什么样，比事后补要省事得多。

什么场景该选哪种，给个粗线条的判断

单机跑一个大模型、要压性能、要独占显存，走直通。多租户、一堆小任务、想按配额分给不同团队，走虚拟化。做桌面虚拟化或者图形工作站那种共享场景，vGPU 这条路更合适，因为要的就是多人同时用一张卡。测试和开发环境想省点钱，切卡也够用，不必非要独占。

还有一类是中间态：用多台小规格虚拟机做推理服务，每台分一小块卡，扛并发靠横向加机器。这种方案好不好，取决于你的任务能不能拆开，拆不开就别硬拆，切分带来的调度开销可能比省下的钱更值钱。

几个踩过和见过的坑

买之前不问清楚宿主机上还剩什么资源，结果直通一开，网卡和存储控制器的分组被带跑偏，机器起来网络不通，排查方向全跑偏。这种情况不常见，但真会发生。

虚拟化环境里没配许可，跑起来功能受限或者干脆报错，然后以为是驱动问题继续折腾。许可证这块先确认清楚，别自己猜，服务商的说明和厂商文档对着看一遍。

还一个是镜像，厂商给的镜像里预装驱动版本跟你想要的框架版本对不上，装完之后 CUDA 认不到卡。这种就老老实实自己装一遍，别图省事用预制镜像，省下来的时间最后都赔进去了。

下单前把这几条过一遍：模型实际要多少显存、需不需要独占卡、要不要做快照和迁移、许可怎么算、宿主机和 IOMMU 支不支持直通、镜像里的驱动版本能不能对上。这六条答清楚了，gpu模式选择基本不会走偏。剩下的就是跟服务商确认具体规格和计费口径，不同厂商的命名和切法差别不小，以官方页面写的为准。