AI的SEO叫GEO,robots.txt放行这3类爬虫

GEO 这词最近被讲得挺玄乎。你在搜索框敲「AI 搜索优化」,一堆课蹦出来,讲得跟算命似的。可落到自己那台机器上,第一步特别土——打开站点根目录的 robots.txt,看看里面到底写了什么。我一般先不看后台,先看这个文件。为啥?它决定 AI 那边来的爬虫能不能进你的门。AI 的 SEO 叫 GEO,这话没毛病。但 GEO 的门槛不在文案,在协议。

SEO设置

AI的SEO叫GEO,robots.txt放行这3类爬虫

传统 SEO 那会儿,robots.txt 基本就是拿来拦的:后台目录 Disallow,搜索结果页 Disallow,带参数的 URL 也一堆 Disallow。到 GEO 这边,同一个文件用法反过来了,更多是点名放行。差在哪?传统搜索的蜘蛛就那么几家,拦不拦心里有数;可现在做 AI 检索和训练的公司一大堆,每家都有自己的 UA,你不主动写清楚,它就默认按通配那条规则走,很容易被 * 挡在门外。

说白了,GEO 不是去讨好某个模型,而是让它在想引用一句话的时候,能顺顺当当地读到你的页面。读不到,后面那些内容优化全白搭。

哪3类爬虫值得单独放进去

我习惯按用途分,不按公司分。头一类是训练型,GPTBot、ClaudeBot、CCBot、Bytespider、meta-externalagent 这些,爬你的页面是为了进语料库;第二类是检索型,也是最该重视的,OAI-SearchBot、ChatGPT-User、PerplexityBot、Perplexity-User、Claude-User,它们在用户提问的当下过来抓一页,抓到就当场引用,抓不到就说不知道;第三类是索引扩展型,像 Google-Extended 和 Applebot-Extended,它们不影响普通搜索排名,只决定 Gemini 和 Apple Intelligence 那边用不用你的内容。具体 UA 名字各家会调,以官方文档为准。

这三类的取舍不太一样。训练型放不放,看你愿不愿意内容被拿去喂模型,很多人在这儿纠结半天;我的看法是看靠什么吃饭,做资讯站、内容站的,训练型可以只放列表页、把全文页拦掉,做本地服务和企业站的,放开了无所谓,被模型记住反而是好事。训练型我一般放得开。

一份能直接抄的 robots.txt 写法

先别急着往里加东西,先看文件里有没有这么一组: User-agent: * Disallow: / 有的话,所有没被单独点名的爬虫全被挡在门外,AI 那些也在里面。不少建站工具装完就默认生成这么一条,测试环境留下的模板,搬家时顺手带过来了,自己都忘了。

确认没被全站禁之后,再按需追加分组。我一般这么干:默认的 * 组保持宽松,只拦后台和搜索参数页,检索型那几个 UA 单独开 Allow 组,训练型看情况。像这样: User-agent: * Disallow: /admin/ Disallow: /*?s= User-agent: OAI-SearchBot User-agent: PerplexityBot User-agent: Claude-User Allow: / Allow 要跟在各自的 User-agent 后面,中间不能插空行,空行等于换组,写错一次整段失效,这个坑我踩过。

文件本身还有个体积问题。规则堆太多、注释写一屏,超过各家解析上限的部分会被直接忽略,超多少各家不一样,以官方文档为准。我的习惯是只写必要的分组,一个 UA 一组,注释一句话就够,别把它写成配置文件。

被拦住的往往不是robots.txt,是WAF和CDN

排查的时候别只盯着那个文本文件。我见过不少站,robots.txt 写得漂漂亮亮,AI 爬虫来了照样 403。问题出在上一层:CDN 的 Bot 管理、主机面板的防火墙、或者 Nginx 里的 UA 黑名单,把不认识的 User-Agent 一律当垃圾流量掐了。这些规则当初是为了防采集写的,现在把正经的检索爬虫一起误伤了。

还有个细节容易漏——robots.txt 本身会被 CDN 缓存。你在浏览器里看到的是新版本,爬虫从离它最近的节点拿到的还是旧的,于是你这边以为放行了,它那边还在吃老规则。改完顺手刷一下这个文件的缓存,或者给它设个几十秒的短 TTL 就好。

验证办法很土但有效,拿 UA 直接请求一次: curl -A “GPTBot” -I https://你的域名/ 返回 200 还是 403,一眼就清楚。403 的话别改 robots.txt 了,去翻防火墙和 CDN 规则;200 的话再顺手看看响应时间,慢得离谱,抓取效率一样上不去。

放行以后,抓取压力得有地方接

放行不等于放任。检索型爬虫是按需触发的,一条热门问题可能在很短时间里带来一波集中请求,你的详情页要是每次都查库渲染,那个时段就会明显变慢。我一般的处理是:文章页做成静态或者挂一层缓存,热点 key 丢 Redis 里,Nginx 上加 limit_req 限一下单 IP 并发,不然源站分分钟被打穿。

服务器这层也别忽略。同样是 Nginx,跑在 EulerOS 上和跑在别的发行版上,默认路径、日志位置略有差别,写分析脚本的时候路径写死就容易翻车,先用 nginx -V 确认编译参数和前缀,再决定日志去哪读。

怎么确认AI爬虫来过

最直接的证据在访问日志里。抓一段看看: grep -iE “GPTBot|OAI-SearchBot|PerplexityBot|ClaudeBot” /var/log/nginx/access.log | tail -30 能刷出记录,说明门是开的;全是 403,或者压根没有,说明还没进来,或者被前面那层拦了。看完顺手统计下频次和来源段,心里对压力有个数。日志是最诚实的。

GEO真正的门槛还在内容本身

robots.txt 只是把门打开,进来之后读不读得懂是另一回事。AI 抓一页过去,它要的是能直接拎出来的结论、清楚的标题层级、别把答案埋进第三屏的图里。问答式的结构现在确实吃香,但别为了凑问答把文章拆成一堆没头没尾的短句,那个对人也一样难读嘛。

要动手的话,顺序我建议这么来吧:先看 robots.txt 有没有全站 Disallow,再拿 curl 换 UA 验一遍防火墙,然后去日志里确认爬虫真的到过,内容结构那摊事排在后面做。这几步走完剩下的就是等着呗,等多久没准,别信谁说几天就见效——模型那边什么时候更新索引,以各家官方文档说明为准。

相关阅读

【版权声明】:本站内容若无意侵犯到您的权利,请及时与我们联系将尽快删除相关内容!

赞 (0)
爱家的头像爱家
PHP日活统计用Redis位图,MySQL当天数据太吃IO
上一篇 2026-11-22 05:12
文件夹变成只读无法修改,要如何才能彻底解决?
下一篇 2025-10-07 20:38

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

广告合作

QQ:14239236

在线咨询: QQ交谈

邮件:asy@cxas.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信