全字段脱敏是最省事的写法,也是最容易把日志搞成废纸的写法。前两年我接手一个后台系统,上一任留下的日志脱敏代码干脆利落——一条正则把整行 message 换成星号,跑了大半年没人管,直到有次下单接口开始零星报错,我们对着满屏的 **** 翻了一晚上,参数看不着、用户 ID 看不着、连错误码都被顺手带走了,最后只能去数据库里捞现场,业务那边早就炸了锅。

日志脱敏代码最容易犯的错,是把整行糊掉
脱敏的出发点是别让日志变成第二个泄露源,这想法本身没毛病,毛病出在很多团队把它直接翻译成「全都盖住」。可日志本来就带着运维价值:谁在什么时候调了哪个接口、卡在哪一环、耗时多少,全靠这些字段撑着。你把 message 整段替换掉,等于把排障线索和敏感信息一锅端了,审计真要复盘的时候只看到一排星号,这就不叫安全,叫自废武功。老实说,我宁可多花半天把字段列清楚,也不想半夜被告警叫醒之后对着一堆读不懂的日志干瞪眼嘛。
我的判断标准很土:这条日志被陌生人看到,最坏能坏到什么程度。想不出坏处的字段,就留着吧。
字段分两种:会认人的,和只认机器的
手机号、身份证号、银行卡、密码、token、Cookie、精确到门牌号的地址、邮箱 @ 前面那截——这些是真会认人的,该脱就得脱,没得商量。用户自己填的用户名呢,要不要处理看业务。我一般留首尾各一个字符,中间替换掉,既能对上人,又不至于把账号整条挂出去。IP 这个字段最纠结。它在个人信息口径里算得上号,可排障又高度依赖它。我现在做的是保留网段、末段用固定值替换;或者干脆做 HMAC 映射,同一个 IP 在日志里始终是同一个哈希,能比对、不能反查。这就够用了呗。
另一类字段只用来识别机器和请求:trace id、span id、状态码、耗时、URI 路径、UA、错误码、时间戳、字节数、线程名、机器名、模块名,这些动它干什么呢?动了之后链路追踪直接断,调用链一断,排障时间翻好几倍。我自己踩过这个坑,一个 trace id 被规则误伤,前后端日志对不上,后来把脱敏配置回滚才把日志救回来。
还有个特别容易漏的地方:参数不一定在 body 里。像 GET /api/user?phone=13xxxxxxxxx 这种,手机号是挂在 URI 上的,很多人只盯着请求体,结果 URL 一进 access log 就等于没脱。我现在写规则,会把 URI 的 query 段单独拎出来过一遍,别嫌麻烦啊。脱多了等于没脱。
脱敏写在应用层,比在采集层做大扫除稳
采集层搞大扫除有个隐患——它只看得到文本,分不清哪个是密码、哪个是正常参数名。Logstash 的 mutate gsub,或者 Fluent Bit 挂一段 lua 脚本,写起来是爽,规则一多就容易误伤,改一次配置全链路日志都跟着抖。我更愿意把这段逻辑放在应用层:Logback 里用 RewritePolicy,Log4j2 是同一套机制,或者干脆自己写个 filter 挂在 handler 上,把 MDC 里那几个敏感 key 先处理掉再落盘,Python 那边就是 logging.Filter,挂在 handler 比在每个业务函数里手动调一遍靠谱得多。
MDC 这块提一句,很多人以为字段塞进 MDC 就安全了,其实它跟着每行日志一起输出。uid、tenant、设备号这些要在 filter 里统一过,别指望业务代码自觉。还有个习惯得改:别把整个对象直接 toString 打出来,对象里藏着什么你自己都记不清。
采集层不是不能脱,是不该当主力。把它当第二道网,应用层漏掉的少数几个字段兜住就好,这样新框架上线、老代码改版的时候也不至于裸奔。
规则写完了,拿真日志反向跑一遍
我一般这么验收:抓一段真实的生产日志,用原始正则去 grep,看还有多少条命中。比如 grep -c ‘phone=1[3-9]\d{9}’ app.log ,结果不是 0 就说明有漏网的;再反过来查脱敏后的输出,看 trace id 还能不能串起来,一条请求从前到后能不能对上,对不上就说明你脱过头了。还有笔小账要算——正则匹配是逐行跑的,日志量一上来,复杂正则的开销会实实在在吃掉 CPU,脱敏规则别写得像考古,能一条搞定的别拆五条。
上线之后我会盯一两天,再找个月黑风高的时候做次故障演练:故意打个报错出来,看自己能不能只靠日志定位到那台机器、那个接口、那一行参数。定位不到,这套脱敏就是白写的,改吧。
留一份受限的原文,比彻底抹掉更靠谱
有些字段真不能硬抹,订单号、设备号这种,抹了追查就断。那就做可逆映射:单独存一张表,日志里只放哈希;要核对的时候,用权限最小的账号去查。查得到,但日志本身不承载敏感值。这张表的访问权限、保留期限也得单独定。千万别跟日志塞同一个库里。说白了,锁和钥匙挂一起,出事就一起完。合规这块各家口径不一样,保留多久、脱到什么程度,还是以服务商说明或法务给的口径为准。别自己拍脑袋定。
回到开头那句话,日志脱敏代码的价值在于精确,不在于狠。先把字段列一遍,分成必须脱、留结构、别动三类,再决定代码写在应用层还是采集层,最后拿真日志反向验一遍。这套活儿走下来花不了多少时间,但能让你半夜被叫起来的时候,手里至少还有一份读得懂的日志嘛。
【版权声明】:本站内容若无意侵犯到您的权利,请及时与我们联系将尽快删除相关内容!