脱敏最怕一套规则从头用到尾。生产库导一份给测试、日志又天天在滚,这两条路上的敏感信息压根不是一种东西:前者是一次性快照,导完就撒手;后者是持续不断的流,今天过滤干净了,明天新上一个服务又漏一遍。信息脱敏做 SQL 导出和日志各有一套,我从来不把两边混着来,混着来的结果往往是两头都不干净。

两边的差别,动手前先想清楚
导出能挑表挑行,日志没法挑用户。导库时你面对的是一张表的几十个字段,可以对着表结构一个一个过;日志面对的是每秒钟几百条的一坨文本,敏感值藏在 URL 查询串、UA、请求体、异常堆栈里,你连它藏在哪都得先摸索一遍呢。也正因为这样,导出可以事后处理,日志必须在入口掐。
我见过有人把 access.log 打包下载到本地,sed 一遍再传回去归档,问一嘴原始文件删了没,对方愣了半天。那不等于没做嘛。轮转包、备份盘、别人 tar 走的临时副本,随便哪一份漏在外面,前面那些功夫全白搭。
信息脱敏做 SQL 导出和日志各有一套:导库我一般先建视图
测试环境用的库嘛,我不直接 dump 生产表。一般先在只读实例上建个视图,敏感列换掉,再导出来。电话就这么写:CONCAT(LEFT(phone,3),’****’,RIGHT(phone,4))。邮箱用 SUBSTRING_INDEX(email,’@’,-1),保住域名,前缀砍到两个字符。身份证只留头尾各两位。姓名麻烦些。要么置空,要么给固定值。说白了,别搞“张*三”那种半遮的——两三个字的名字,一猜就出来。视图让规则只写一遍。
mysqldump 导视图有个小坑,版本之间行为不太一样,有的会导成临时表结构、有的干脆跳过,以你手上那版的说明为准。真要稳,SELECT … INTO OUTFILE 或者让应用侧写 CSV 出来,比跟工具较劲省时间。
mysqldump 那几个参数,能省一半返工
老实说 –single-transaction 我一般必加,InnoDB 下走一致性读不加锁;–where 用来圈范围,测试库不需要全量,按时间切一段就够;–ignore-table 把日志表、session 表、支付流水整表跳过,比导完再删字段省事得多;–skip-extended-insert 也加上,一条记录一行,后面 grep 验证和肉眼抽查都方便,不然一条 INSERT 里塞几百行值,出问题你连哪一行都定位不到吧。
导完别就地放着。管道直接 gzip,落到测试机的目录权限收一下,给文件设个过期时间,两三天自动清掉就好。生产数据在测试机上躺着没人管,这比导出这一步本身危险多了。
日志在采集端掐,事后 sed 是自欺欺人
nginx 的 log_format 我一般干脆不记 $http_authorization,$request_uri 里的查询串用 map 打码;后面接 logstash 或 vector 的话,filter 里一条 mutate 加 gsub 就能把 11 位手机号、邮箱、18 位身份证替掉。正则别写太贪,像 1[3-9][0-9]{9} 这种就够了,写宽了容易把订单号、时间戳一起吃掉,排障的时候又回头骂自己。还有一层,日志格式本身要统一,半年前那套自定义格式里带着完整请求体,新配置再干净也管不到老文件。
日志还有个麻烦在于它有副本。系统 journal、docker 的 json-file、rsyslog 的中转队列、备份盘上的轮转包,甚至某个同事为了排查问题 tar 走的一份 access.log,你 sed 的永远只是手上看得见的那一份,剩下那些在哪只有天知道。
所以顺序反过来:先在采集入口把字段处理掉,再谈归档。已经落盘的旧日志,单独跑一遍清洗脚本呗,清完确认原始文件删掉、备份覆盖掉,不然就是留了个隐患在那儿。
脱完怎么验,别靠眼睛扫
我一般写个小脚本,跑三个正则:手机号、邮箱、18位身份证。命中就打印文件名加行号。SQL dump那边顺手统计某列的distinct值。要是还剩几万个不同的手机号,说明视图没生效,或者dump的压根就是原表。造十几行假数据先跑一遍流程,也挺有用。看看落地文件里到底还剩什么。你会发现,剩的多是订单号、时间戳这类无关的东西。花个二十分钟,比上线后被人拿着截图来找你强吧。
敏感字段不是一张固定清单
每个业务不一样。手机号、身份证、银行卡、邮箱、住址算常规的,真容易漏的是组合和内部标识:openid、工号、订单号加收货地址、异常堆栈里的数据库连接串(里面常带着账号密码)、内网 IP 和主机名。单看都不起眼,凑一起就能定位到具体的人。判断标准我一般用一句——这字段单独放出去,会不会让人不舒服?会,就按敏感字段处理。
清单还得写进导出脚本和日志配置里,写在文档里没人翻,写进代码才会被执行啊。
下次导库之前先问自己三句:这份数据给谁看,看完放哪,什么时候清。答不上来就先别导,不然迟早要补一次更难看的窟窿。
相关阅读
【版权声明】:本站内容若无意侵犯到您的权利,请及时与我们联系将尽快删除相关内容!