分库分表后数据合并,先对账还是先合表?

合表之前先对账,这话听着像废话。等到动手那天,多数人的做法是把数据导过去、服务能起来、页面上能查到单子,就当成了,谁也不去核。过些日子业务方拿着报表过来问某一笔账为什么两边不一样,你才发现分库分表后数据合并这件事,麻烦的根本不在那条 INSERT … SELECT,而在于你得先拿出一份证据,证明几个分片加起来跟原来那一份是同一本账,这一步没做,后面全是赌。

数据一致性

分库分表后数据合并,卡人的往往不是 SQL

分片键、自增主键、唯一索引、时间字段的精度、字符集、软删除标记,这些东西在单个库里安安静静躺着,谁也不惹谁;一旦要把几个分片并回一张表,它们就开始互相打架。SQL 本身真没什么难的,难在你要提前知道哪些地方会打架,不然导完了才发现主键撞了、订单号重了、金额少了两毛,那时候再回滚,代价就不一样了嘛。

自增主键各分片从 1 开始,是分库方案里最常见的做法。合表时主键直接撞车,有人图省事,在插入语句后面挂个 ON DUPLICATE KEY UPDATE,跑完还觉得挺顺利呗,结果撞上的那批行被后写的那条悄悄覆盖了,原来的数据没了,日志里连一条报错都没有。唯一索引也差不多,手机号、订单号这类业务唯一键,分片之间本来就可能重复,只是单库时代你没机会见到。分片键本身也容易丢,合成一张总表以后,不少人觉得那个字段没用了干脆删掉,等排查问题想按原分片回查,发现没有任何字段告诉你这条记录原来住哪儿,只能全表扫。

时间字段也是坑。各应用服务器的钟本来就有点偏。库里呢,有的用 DATETIME,有的用 TIMESTAMP,时区再一换算,本来同一秒写进来的两条记录,合完顺序就乱了。软删除更乱:有的分片拿 is_deleted 的 0 和 1 表示,有的存 deleted_at 时间戳,还有的把 NULL 当未删除。你要是只按一种口径合并,删掉的记录全跑回来。说白了,这事儿说出来不新鲜,踩的人一批接一批。

对账具体对哪几样东西

我一般先对四样:行数、主键区间、金额和数量的汇总、唯一键集合。行数按分片键切片、按天分组各跑一遍,两边结果贴到一张临时表里对着看,差在哪一天、差多少,一目了然。汇总那步把 COUNT、SUM、MIN、MAX 一起取出来,一条语句搞定,参数带时间范围,别整表扫就好。

CHECKSUM TABLE 也能用,但它看的是整张表,几千万行的 InnoDB 表跑一趟,IO 先不说,锁就够你头疼,我一般不到万不得已不整表跑。对账要落到行,别只对总数。

唯一键那一步最土也最快,两边各导一份订单号出来,sort 之后接个 uniq -d,重复的一眼就看见了;数据量小的时候直接用 WHERE order_no IN 也行。别嫌笨,笨办法在你凌晨还醒着、脑子转不动的时候最靠得住啊。

口径这事得提前跟业务确认,别自己拍脑袋。退款单算不算销售额、优惠券抵扣要不要算进实付、跨天支付的订单归到哪一天,这些在单库时代业务方早就有一套约定,你合并时按错了口径,对出来的差异全是假的,一晚上白忙。对账脚本的输出记得落文件,别只打屏,终端一关结果就没了,重跑又是几个小时。

主键重新生成这件事

撞车之后,很多人第一反应是把主键全换成雪花 ID 或者 UUID,听着干净,实际后面所有按主键做关联的地方都得跟着改:接口参数、缓存 key、日志里打出来的 ID,漏一处就是查不到数据呢。稳妥点的做法是用号段,每个分片预设不同的起始值和步长,合表前把新 ID 算好;或者干脆保留原值,另加一列 shard_no 组成联合主键,业务侧基本不用动。

整数 ID 转字符串这种改动也别小看,老代码里拿主键当 int 比的地方不少,类型一变,某几种语言的隐式转换会给你点惊喜吧。

冻结写入这一步别省

对账期间数据还在变,你永远对不完。能停业务就停,凌晨切只读窗口,把写入拦在入口,导快照、对账、合表一口气干完。停不了的走双写加延迟队列,把窗口压到最小,代价是合表之后还得回放一段 binlog 再校验。FLUSH TABLES WITH READ LOCK 我是能不用就不用,它锁的不只是一张表,整个实例的写都停了,线上扛不住这种事啊。

对不上怎么办,先分类再改数

差异出来别急着 UPDATE,老实说那是最容易把能查清的部分一起埋掉的做法。先看一眼属于哪一类:漏同步、重复写入、精度截断、时区换算、软删除口径不一致,还是业务侧本来就有多写一条。这几类修法完全不同,一个语句统一覆盖,事后想回溯都无从下手。我习惯拉一张 diff 表,字段记分片号、主键、差异类型、发现时间,改一条记一条,改完再跑同样的对账语句,直到两边结果一致为止。改数据要留底,不然越改越乱。

工具能用,但别指望它替你做决定

pt-table-checksum 这类工具确实省手工活,能把数据块做校验和比对,但它有个前提,表结构、索引、字符集得基本一致,不一致的时候它吐出来的差异列表能长到你看不完。pt-archiver 搬数据也能用,批量提交大小调到几百行一批比较稳,太大主从延迟堆起来,太小跑一整夜也搬不完呢。

合表之后的验证,别只看接口通不通

合完表,服务起得来、接口返回 200,不代表账是对的。抽样逐字段比对、总量比对、业务侧那本账对一遍,三样都得过。有条件就留一段时间的双读,新表读一份、老分片读一份,不一致的写进日志,跑上一两周,心里才踏实吧。

顺序大概就这些:先对账,冻结写入,导快照;跑行数和汇总,比唯一键,抽样逐字段核对;差异登记、修完,再合表。合完还得再校验一遍。步骤看着多。真省不了。尤其收尾那次校验,偷懒跳过的人,后来大多又回来补了一遍。分库分表后数据合并,说起来挺技术,落到实处就一句:账先对上,再动手搬数据就好。

相关阅读

【版权声明】:本站内容若无意侵犯到您的权利,请及时与我们联系将尽快删除相关内容!

赞 (0)
爱家的头像爱家
信息脱敏,8成人漏掉的3个环节
上一篇 2026-11-20 16:09
CC攻击CDN,源站为什么还是被打穿?
下一篇 2026-11-20 18:07

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

广告合作

QQ:14239236

在线咨询: QQ交谈

邮件:asy@cxas.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信