蜘蛛采集APP三种伪装,UA和IP反查一眼识破

浏览器 UA 配着云机房的 IP,凌晨两点一趟、三点一趟、四点又来一趟,每趟把你所有详情页挨个啃一遍,这种访问我基本直接按采集处理。蜘蛛采集APP 这几年换皮换得勤,早先还老老实实报个 python-requests,现在学会穿浏览器外套、冒充搜索引擎、借住宅代理绕路。可它绕不开两样东西:请求头里的 UA,和连接那头真实的 IP 地址,这两条线一对,绝大多数伪装当场破功。

IP地址

蜘蛛采集APP常用的三种伪装

第一种,装浏览器。UA 抄得跟 Chrome 一模一样,Accept、Accept-Language、Referer 也都照填,看着挺像人。可 CSS 和 JS 它不请,图片懒得下,cookie 一个不带,一上来就直奔列表页、详情页。真人打开页面呢,浏览器会顺手把样式、脚本、字体、图片一起拉下去,中间还夹几个异步请求;采集器通常只拿 HTML 本身,其余一概不理。这差别,日志里明明白白。 第二种,装蜘蛛。UA 直接写 Baiduspider 或者 Googlebot。有些站长一看是蜘蛛就放行,连 IP 都不核。等于给人家开了后门。 第三种最烦,装 IP。挂代理池、租住宅地址、蹭云主机,一个 IP 抓几十个页面就换,日志里散得像正常访客,只能靠行为特征去捞它出来。

UA 这条线,日志里 grep 一下就有线索

先别急着上工具。Nginx 的 combined 格式,UA 落在第六段引号里,一条命令就能把排行拉出来:awk -F'”‘ ‘{print $6}’ access.log | sort | uniq -c | sort -rn | head -20。各家日志格式不一样,自己数一遍引号再动手吧。你会发现榜单上往往两头都怪:一种是某个 UA 请求量高得离谱,另一种是几百个 UA 每个只来一两次。前者是懒得换皮的,后者是换皮换得勤的,都得盯。顺手再看它请求了什么,采集的路径整齐得反常,全落在列表页和内容页,静态资源一条没有,真人哪有人这么干活的呢。

冒充蜘蛛的,拿 IP 打回原形

UA 写自己是百度,那就核 IP。反查一步 dig -x 或者 host,看 PTR 记录落在哪个域;正规搜索引擎的 IP 段是公开的,具体以搜索引擎官方页面或站长平台的说明为准,拿日志里的来源地址去比对就行。别只做反向解析就完事,再做一次正向确认——把 PTR 解出来的主机名再 dig 回 A 记录,如果回来的 IP 和日志里那条来源地址对不上,这条反解多半是自己写的,放行就等于给采集开了门。我早年只看 PTR 就放行,后来发现有人专门给自家机器配了个很像官方域名的反解记录,那回挨了一批页面的采集,记到现在。

IP 反查不能停在 whois

whois 只看归属,看不出用途。

真正有用的是 ASN 和网段性质啊。一段地址挂在云厂商的号上,又不像那家云自己的回源出口,基本就是租机器跑采集;住宅代理段又是另一种味道,散、杂、跨地区,同一个 UA 在不同段里来回跳。X-Forwarded-For 也别全信,这玩意儿客户端想写什么写什么,除非请求确实是从你自己前置的 CDN 回源过来,不然按伪造处理。判断真实来源,还是看 TCP 连接的对端地址最稳,翻 CDN 的日志时也要分清哪一层是回源 IP、哪一层是访客原始 IP,配错 real_ip 模块的话,整段分析全歪。

行为比 UA 更诚实

UA 能抄,IP 能换。行为特征抄起来成本就高了。我一般看这么几样:单个 IP 或单个会话短时间内的请求密度、请求间隔是不是齐得反常(真人不会卡着秒表点页面)、Referer 是不是空得干净、cookie 是不是全程没有、UA 和 Accept-Language 对不对得上——一个英文 UA 却带着中文语言头、只啃中文页,挺滑稽的嘛。再叠一条:正常访客从首页进来会往里跳,采集往往直接命中详情页,落地页分布是个很好的破绽。把这些条件在日志里叠两三条,误报就压下来了,单看哪一条都容易冤枉人。

我一般这么拦:限速、分流、兜底

Nginx 里先拿 map 给可疑 UA 打个标记,再用 limit_req 给标记过的来源单独限速,正常访客走原来的桶,互不干扰。白名单按官方公布的 IP 段来,自己别拍脑袋编啊,编错就是自己把真蜘蛛挡在门外。剩下的疑似流量别急着回 403,给它返回精简版内容,或者走一层 JS 计算挑战,真人能过,脚本过不去就好。虚拟主机这种没有 root 的环境能动的少一些,通常是在面板里配 UA 规则和访问频率,或者干脆前置一层 CDN,把过滤交给它,源站只认回源地址。

封 IP 这步,我放最后

代理池换 IP 比封得快。你今天封完,人家明天换一批,白忙。更麻烦的是误伤:一个出口地址后面可能挂着一堆真人,学校、写字楼、运营商 NAT 全这样,一刀切下去,投诉就来了呗。我一般就把封禁摆最后,前台先靠限速和分流顶一阵,把采集的性价比打下去,它自己就会走。真要封,说白了,也按网段和 ASN 来,别一个个 IP 抄进黑名单,维护不起。

老实说,这套流程不复杂:拉 UA 排行、核可疑 IP 的 PTR 和 ASN、叠两三条行为特征、最后再动手限速分流。比装一堆花哨的防护插件实在得多。日志天数记得留够,很多线索等你想查的时候已经被轮转掉了,这个坑我踩过,你留意一下就好。

相关阅读

【版权声明】:本站内容若无意侵犯到您的权利,请及时与我们联系将尽快删除相关内容!

赞 (0)
爱家的头像爱家
清理木马病毒,clamav和crontab哪个更靠谱
上一篇 2026-11-22 07:27
如何通过CDN加速提升微信H5支付体验?
下一篇 2024-10-06 22:32

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

广告合作

QQ:14239236

在线咨询: QQ交谈

邮件:asy@cxas.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信