服务器CPU占满100%八成是IO等待不是算力不够,这个说法我逢人就念叨,因为来问我“CPU跑满了要不要升配”的人里头,十个起码有六七个是盯着top第一行那个100%心里发慌,点开一看%us才二三十,剩下全是%wa杵在那儿,磁盘慢慢磨,CPU干等着,你就换再高主频的机器照样卡得一模一样,真不是吓唬你。

服务器CPU占满100%八成是IO等待不是算力不够,先把这两个数分开看
top敲下去,第一行%Cpu(s)后面一串百分比,多数人眼睛只盯着us那一栏,旁边那个wa才关键。us是用户态真在算,sy是内核态在忙系统调用,wa是CPU空转等IO,id才是彻底闲。wa高过三四十,这机器就不是算力不够,是磁盘跟不上。我一般连着多按几次数字1看实时刷新,别只截一张图就下结论啊,有时候正好赶上一轮备份跑过,曲线一闪就掉下去了呢。磁盘慢,加CPU没用。
光看top只能知道“在等”,等谁不知道。iostat -x 1,看Device那列对应哪块盘,是vda还是nvme0n1,然后盯await和%util。await是平均每次IO等了多久,单位毫秒,超过几十就明显难受;%util贴着100说明队列一直排着。这两个一起高,基本就钉死了。要是%util不高await却很高,那多半是队列深度或者后端存储链路的问题,云盘上挺常见,具体阈值以服务商文档为准,我不太敢给你一个通用数字吧。
顺手补一句,iostat第一次输出的那组数据是自开机以来的平均值,别拿它当实时看,得等第二组往后才是间隔采样;不少人就是被第一组吓到,以为盘天天这么忙,其实是启动那阵子集中读文件攒下来的账。vmstat 1 也能看,si so那两列要是不是零,说明在走swap,内存不够把页面换到磁盘上,CPU自然就得等着呢,这种情况升CPU一点用没有,得先加内存,或者把吃内存的进程摁住。
磁盘慢的几种出身,机械盘、RAID卡、云盘配额
机房里还跑着老机械盘的,随机读写本来就吃亏。几块盘拼RAID做阵列,写惩罚算下来更难看。云上又是另一回事——云盘的IOPS和吞吐都有配额,基线之上还挂个突发额度。短时间看着挺猛,额度用完就掉回原形。你要是正好在跑数据库导入或者大批量备份,掉速那一下特别明显。各家写法不一样,去翻你那台盘的规格说明就好,别听我瞎猜呗。
同一台机器,换块盘,命就完全不一样了。这话听着糙,踩过就知道。
MySQL那边脏页刷盘,是最会伪装的
数据库机器上这问题特别多。InnoDB脏页积到一定比例会集中刷盘,刷的那一下磁盘IO打满,CPU那边的wait跟着飙,你从外面看就是CPU满,进数据库看慢查询还没几条,一头雾水啊。我习惯先去看buffer pool的脏页比例,再看innodb_flush_log_at_trx_commit设成几,双1的时候每次提交都落盘,安全是安全,小机器上确实容易卡;调成2能松快不少,代价是掉电丢最近那一小段事务,这个取舍得你自己拿主意嘛,别照抄别人的配置。
谁在啃磁盘,找出来不难
pidstat -d 1 按进程列读写,iotop -oPa 也能看,哪个进程猛读猛写一目了然。常见的也就那几个嘛:备份脚本、日志切割、图片批量转码,还有你以为早停了的定时任务。文件系统这块df -h看容量,满了之后写起来也慢,inode用光直接报错,df -i顺手查一下呗。挂载参数里relatime、noatime对读多写少的场景有点帮助,改不改看业务,别一刀切。
慢查询日志开起来,long_query_time调到1秒上下跑两天,抓到的那几条全表扫描,加个索引,IO压力唰一下就下去。这种活儿比升配便宜太多了,你说是不是。
升配之前,按这个顺序走一遍
顺序大概是这样:top确认wa高,iostat定位到底是哪块盘,pidstat和iotop揪出进程,有数据库就看脏页和慢查询,再free -m看有没有swap,最后才考虑加CPU核数或者换SSD。前面几步不花钱,后头几步才掏腰包,从便宜往贵走嘛。要是确认磁盘吞吐就是顶不住,那换SSD或者升云盘规格才是有意义的钱;单纯核数不够的场景,%us会一直贴着高位、%wa反而低,这两种情况别搞混,搞混了就得从头再排查一遍,不然钱白花。
load average也不等于CPU忙
那三个数,1分钟、5分钟、15分钟。有人一看高过核数,立马断定CPU爆了。真不一定。Linux里这玩意儿算的是运行队列加上不可中断睡眠的进程,说白了,一堆卡在IO上的进程也能把load顶上去。load 8在8核机器上,要是%us低、%wa高,那可不是满载,是集体排队等盘呢。用vmstat的r列和b列分开看更准:r是真在跑,b是堵着不动。就好。
还有一种情况,CPU是真满
%us长期八九成、%sy也不低、wa只有个位数,那才是算力见底,压缩、加密、转码、跑推理这类活就长这样。反过来wa高us低,机器明明在闲,你这时候升配等于白送钱。热点数据往Redis或者本地缓存里挪一层,也能少打点数据库,不过命中率上不去的时候回源那一波更集中,想清楚要挡的到底是什么再动手。
下回再看见那个100%,先别慌着加钱,敲个top按1,再看一眼iostat,两分钟的事。省下来的那笔,够你续好几个月机器呢。
相关阅读
【版权声明】:本站内容若无意侵犯到您的权利,请及时与我们联系将尽快删除相关内容!
评论列表(1条)
[…] 服务器CPU占满100%?八成是IO等待不是算力不够 […]