CDN防采集有用；但只拦得住笨蜘蛛

采集器敲门的声音，做内容站的人一听就知道。可你把CDN挂上去、打开所谓防采集开关，第二天一看统计，该搬的还是被搬走了。这不奇怪——CDN防采集有用但只拦得住笨蜘蛛，聪明的那些压根不吃这一套。CDN是流量入口，不是版权执法队，它能看到的东西有限：请求从哪来、UA写的什么、频率多密、头部全不全。就这么几条线索，够挡住一批，挡不住另一批。搞清这个分界，你就不会在控制台里翻来翻去找那个根本不存在的“全自动防采集”按钮。

CDN防采集有用但只拦得住笨蜘蛛，拦的是哪种蜘蛛

先得分清两类。一类是老实巴交的爬虫：不伪装UA，甚至把自家名字明晃晃写在里面；不换IP，一个C段连着爬；不看robots，也不管你页面里的注释，顺着链接一路翻到底。这类在CDN日志里特征特别清楚，一条UA黑名单就能送走大半，再配个单IP频控，基本收工。另一类是干这行吃饭的：UA、Referer、各种头部随手编，代理池轮着换，还能把页面里的JS跑起来、模拟鼠标轨迹，翻页间隔带随机抖动。这类请求在CDN眼里和真人访问长得差不多，你拦得狠了顺手把用户也拦了，拦得松了人家照样过。

打开开关之前，先弄清CDN在哪一层干活

各家控制台给的防爬手段，说到底就那么几样：IP黑名单、UA过滤、Referer校验、单IP或单URL的频控、JS挑战、滑块验证。位置不一样，效果差挺多。IP和UA属于网络层和头部层，写得越具体越好使，也越容易被绕——换个UA成本几乎为零。JS挑战和滑块在客户端那一层，能筛掉一批不跑JS的采集器，但对会渲染页面的没辙。至于robots.txt，那是个君子协定，写不写是你的事，遵不遵守是对方的事，CDN不会因为谁不看robots就把他踢出去。每个开关藏在控制台哪个角落、参数怎么填，以各家服务商的控制台说明为准，我不在这瞎猜。

换UA、挂代理，这套动作CDN基本看不见

有个误区得说：不少人以为上了CDN、源站IP藏起来了，采集器就找不到入口。这想法一半对。IP藏起来能挡住直接打源站的那批，可人家走CDN的公开入口，照样能抓到你给所有用户看的内容——这些请求在CDN看来是合法的。真要区分，靠的是行为特征，不是身份标记。行为靠什么看？靠日志。绕来绕去又回到这儿：CDN只能提供原料，判断还得你自己做。

日志才是照妖镜，多数人懒得看

采集器再会装，还是会留痕：某个IP段的请求集中在半夜；同一UA的访问在页面之间跳得又深又齐，每页停留极短；只抓详情页不抓首页；Referer一片空白，或者每次都变得不一样；请求里带着明显不是浏览器会发的东西。把CDN的原始日志拉下来，按UA、按路径、按小时做几个简单统计，异常那一簇自己就会凸出来。麻烦的地方在于日志量大、清洗费劲，很多人打开看一眼就关了。日志审计这活儿不酷，但它是把“笨”和“聪明”分开的成本最低的办法，别嫌它土。

源站不设防，CDN也替不了你

这条最容易被跳过去。CDN挡在前面，可你的源站还开着默认路径、接口没有签名、分页参数跟着数字直接走、导出功能随手就能点，采集器要绕开CDN的路子多得是；就算不绕，把CDN的限速开得宽松点，人家照样一页页搬。所以限速、接口鉴权、敏感接口加验证、把批量导出挪到登录之后、对异常频次的账号做临时冻结，这些事得在源站做。CDN是门卫，不是保险柜，门卫再尽责，屋里的抽屉该锁还得锁。

数据给不给，最后还是内容层说了算

到这一步就很现实了：只要内容以纯文本形式一次性吐给前端，任何防线都只是拖时间。真想抬高成本，得在内容层做文章——列表页只给摘要，正文懒加载，关键数据走签名接口，分页用游标不用页码，图片加水印、必要时切片，价格库存这类字段按请求频率动态变。代价是正常用户也跟着多等一会儿，体验和防护永远在拉扯，没有免费的那一头。先想清楚哪些内容值得护、护到什么程度，再回来配CDN参数，顺序反了容易白折腾一场。

不想看长文，按这几条自查

CDN的UA黑名单和频控有没有开，阈值是不是宽松得离谱；原始日志留了多久、能不能按IP和路径筛；源站IP是不是真藏住了，历史DNS记录、证书、邮件头有没有漏出去；robots.txt写没写，写了也别指望它管用；高价值页面有没有做接口签名和分页限制；真出了异常量，有没有一条能立刻拉黑加限速的处理路子。这几条过一遍，笨的基本进不来，聪明的进来成本也不低。

还有，别指望一套配置永远管用。采集这边的手法也在迭代，今天是UA黑名单，明天人家换上指纹浏览器。你隔段时间翻一遍日志、调一次阈值，比一次配好扔那儿不管强得多。CDN防采集有用但只拦得住笨蜘蛛——记住这句话，剩下的精力花在日志和源站上，才对得起你付的那份钱。