多机部署大模型教程，照着做还是卡住？

照着教程一步步敲，命令没抄错，镜像也对，到启动那一步就是没反应，日志刷两行停在那儿，不报错也不往下走。多机部署大模型教程照着做还是卡住，我觉得有八成的可能不是哪条命令写错了，而是几台机器之间还没真正认识对方。这活儿我前后栽过几轮，最耗时间的从来不是读教程，是猜哪一环没对上。

先看这几台是不是同一种机器

版本这一关最容易被跳过。驱动、CUDA、Python、torch，四样里只要有一样差着，单机能跑，凑到一起就 hang。做法很土：每台机器敲一遍 nvidia-smi，再 pip list | grep -i torch，把输出摆在一张屏上比。嫌麻烦就上容器，同一个镜像拉到所有节点，谁也别在宿主机上偷偷 pip install。混插不同批次的卡我没试出过稳定方案，要混就得做好折腾的准备。

有个坑印象很深：一台机器的 torch 是镜像里带的，另一台是 pip 装的，版本差了个小版本号，单机跑 benchmark 一点事没有，两机一凑直接卡死。查了两天才发现。所以现在宁可用同一份镜像，也不省这一步。

多机部署大模型教程照着做还是卡住？多半漏了主机名和免密

/etc/hosts 里把每个节点的内网 IP 和主机名写死，每台都要写，别只写自己那一行。然后 ssh-keygen -t rsa 生成密钥，ssh-copy-id 推到其他节点，最后验证 ssh 主机名 能不输密码直接进去，注意是用主机名，不是 IP。这一步不过，torchrun 在 rendezvous 阶段就会一直等，日志上看着像卡住，其实是在等一个永远不会来的连接。

主机名也别乱起。hostname 输出的名字要和 /etc/hosts 里写的一致，两台机器主机名撞了，同样起不来，还不好找原因。

网卡这块，教程通常一笔带过

一台 GPU 服务器上一般挂着好几块网卡，业务网、管理网，运气好还有 IB 或者 RoCE。NCCL 默认自己挑，挑错了就走慢路，更糟的是压根不通。解决办法是手动指定：export NCCL_SOCKET_IFNAME=eth1，名字按 ip addr 里实际的写，别照抄别人的。想知道它到底选了哪块，export NCCL_DEBUG=INFO 跑一遍，日志里会打印走的是哪条通道。

没有 IB 的集群，万兆以太网也能跑通，只是表现和 IB 不是一回事，具体能到什么程度跟交换机、网卡型号都有关系，别拿别人的数字当自己的基线。这块我不敢给绝对答案，实测为准。

rank 和 world_size 写死了是高频错误

启动命令基本都是这个形状：torchrun –nnodes=2 –nproc_per_node=8 –node_rank=0 –master_addr=… –master_port=…。照抄的时候最容易出两个错：一是每台机器 node_rank 都写成 0，二是 master_addr 填了 127.0.0.1。前者让两个进程抢同一个身份，后者只在本机自嗨。

master_port 被别的服务占了也很常见，换一个没被监听的，ss -lntp 看一眼就知道。节点之间防火墙如果开着，端口不通，表现出来的样子和免密没配好几乎一样。

并行切分和显存对不上，会卡在加载那一半

教程里写的 tp=8、pp=2 是给八卡机器准备的。你只有四张卡还照抄 tp=8，要么直接报错，要么起得来但每张卡分到的头数不对。张量并行通常要能整除注意力头数，流水并行要能整除层数，这两条对不上，加载阶段就过不去。先用小模型把链路跑通，再换大模型，能省掉很多到底是链路问题还是模型问题的纠结。

真卡住了，按这个顺序往下拆

顺序别乱：单机单卡先跑通，然后单机多卡，再两机，最后才把全部节点拉起来。每一步都留一次成功记录，出问题就回退一格，心里有底。

两机这一步，先跑 nccl-tests 里的 all_reduce，别急着上模型。这个小程序不通，模型一定不通；通了才说明通信层是好的。跑的时候盯着 nvidia-smi 看显存有没有异常增长，dmesg 里有没有掉卡之类的记录，有的话先解决驱动和硬件层面的事。

日志记得留档。NCCL_DEBUG=INFO 再加 NCCL_DEBUG_SUBSYS=ALL，会把通信过程打得比较细，看着烦，可出问题的时候这几行字就是唯一的线索。

教程和官方文档之间有个时差

框架版本迭代快，很多教程写的还是老版本的启动方式，命令对不上很正常。镜像里一般自带 README，官方仓库的文档也在更新，具体以官方页面和镜像说明为准。视频教程看着直观，但跳过环境准备这一步的比例很高，照着一路抄容易漏东西。

四件事按顺序过一遍：版本是否一致、主机名和免密是否通、NCCL 是否挑对网卡、rank 是否各就各位。这几关过了，剩下的才是模型本身和并行策略的事。别一上来就怀疑框架有 bug，真到那一步的情况不多。多机这活儿调起来磨人，把每一步拆小、留好记录，比一次拉满全部节点靠谱得多。