聚合页快速收录，卡的是入口不是数量

聚合页收录卡是不是数量——这个问题其实问偏了。收录慢，多数时候不是你的聚合页做得太少，而是爬虫连门都进不去。链接挂在三四层以下、sitemap 里塞满带参数的地址、入口还是 JS 点出来的，页面翻一倍，入口一条没加，收录照样原地不动。碰见过一个站，聚合页从几十张扩到几百张，收录数没怎么动，后来在首页底部补了十来个纯链接，过一阵子后台才陆续出现抓取记录。

聚合页收录卡是不是数量：先数入口，别数页面

入口说白了就三条，站内链接、站点地图、站外。站外那条，新站基本指望不上，没人主动给你链。真正要数的是站内这条：从首页点几下能到这张聚合页？如果得先进栏目、再进列表、再翻好几屏才见到链接，这条入口等于没开。爬虫一天在站里走的步数就那么多，走不到的地方，你在后台提交十遍，状态照样停在“已发现未抓取”。

层级深一层，抓取预算就得打个折

路径越短越好，这里没什么玄学。/tag/xxx、/list/xxx 这种一层就能到的地址，比 /a/b/c/tag/xxx 实在得多。列表页顶上给一个“全部”入口，把聚合页从翻页深处拎到第一屏；顺带把 URL 里的日期、栏目 id 这些能砍的都砍掉。老站改版的时候最容易犯这个毛病，为了保留旧结构硬加目录层级，看着整齐，入口全埋了。改完不会马上收录，但入口通了，后面所有动作才有意义，这条顺序千万别倒过来。

sitemap 不是许愿池

把几万个带参数、带筛选的地址一股脑塞进 sitemap，提交那一刻挺有成就感，抓取那边看就是一堆重复。规则很简单：状态码 200、是 canonical 版本、不带会话和排序参数、内容不是空壳。数量多就拆文件，一个文件几千条，别硬堆。lastmod 手别痒，没真更新就别改时间，骗一次两次还行，次数多了整份文件的可信度都掉。提交完也不算结束，去后台看“已发现未抓取”那一栏，长期不动，说明入口被认了但预算没给过来，问题还在链路和页面价值上。

参数是入口杀手

筛选、排序、分页参数最容易生出一大片长得像的 URL。?sort=hot 和 ?sort=new 是两个地址，内容九成一样，爬虫进去转两圈就不想再来。能收敛到一个 canonical 就收敛，收敛不了的组合干脆挡在 robots 外，别让它们耗预算。分页要能真点，老老实实用 a 标签写 href，别拿按钮绑事件糊弄，规则变化以搜索引擎官方文档为准。

链接是 JS 画出来的，等于没画

现在的搜索引擎能渲染一部分 JS，但渲染要排队，排到你这张聚合页可能是很久以后。能用写死的 href 就别用 onclick 跳转，分页和筛选尤其是重灾区。想知道渲染到底有没有成，最直接的办法是翻服务端访问日志，搜一下聚合页那几个 URL，有没有被抓过的痕迹，比看任何第三方工具都靠谱。

聚合页太薄，进去也是空转

一堆标题加链接拼起来，爬虫进来一眼看完就走，这种页面收录了也没什么用。加点真东西：这张聚合按什么维度聚的、更新时间、几条摘要、相关聚合之间的互链。别去复制正文凑字数，那更像垃圾页。互链这块挺值钱，聚合页 A 链到聚合页 B，等于在自己站内给彼此开了门，比从首页硬塞几十个链接自然得多，也更符合爬虫的走法。

五处挨个看，不用工具也能查

① 首页到聚合页的链接是不是纯 a 标签、带不带参数；② sitemap 里聚合页是不是只有 canonical 那一版；③ robots.txt 有没有手滑挡住 /tag/、/list/ 这类目录；④ 聚合页返回的是 200 还是被 302 到首页去了；⑤ 服务端访问日志里这些地址到底有没有被抓过。五条对上四条，剩下的基本就是等时间了。

收录开始动了，别急着扩量

一旦后台有了抓取和收录，最容易犯的错是马上批量生成几千张聚合页，这等于把入口问题又放大一遍。先让已经收录的这批稳住，观察一段时间，看抓取频率是持续还是三分钟热度，再按入口能力慢慢加。入口能承载的量是有限的，页面数量可以无限，这两者的差值，就是收录卡住的地方。

所以别老盯着数量了。打开首页，一层层手点下去，看能不能顺顺当当点到你要收录的那张聚合页。点不到，先修这条线；点得到，再回头谈这张页面值不值得被抓。