聚合页收录慢；问题多半在入口层级

聚合页收录慢问题多半在层级，这话听着像在替内容质量开脱，但我调过一批站点之后发现，卡住的地方常年不在文章写得好不好，而在蜘蛛从首页爬到那个聚合页得拐几道弯、中间有没有一条常年不动的路。同一个站，详情页几天就进去，聚合页挂在那里显示已发现未抓取，十有八九是这个毛病。不信的话，把抓取日志拉出来按 URL 的层级排一下，规律清楚得很。

聚合页收录慢问题多半在层级，先把层级这个词掰开

这里说的层级，不是视觉上的层次感，是链接层级。首页算第一层，首页上直接能点到的算第二层，再往下顺着点算第三层、第四层。蜘蛛的抓取是有预算的，站越大越明显，它每天就那么多趟，去谁那儿多去几趟，取决于入口有多顺。聚合页如果排在第三第四层才露头，而且只在某个侧栏模块、某个“查看更多”里闪一下，它拿到的入口权重自然就低。这不算玄学，蜘蛛就是顺着链接走，谁家门口路多、路稳，谁被反复光顾的概率就高。

sitemap 只是提示，不是入口

很多人把聚合页一股脑塞进 sitemap，然后坐着等收录，等了两个月没动静就开始怀疑人生。提交 sitemap 的意思是告诉对方“我这里有个页面”，不是给它铺一条可爬的路径。孤岛页面放进 sitemap，效果往往就是一直悬在那儿。搜索引擎对 sitemap 的使用有自己的判断逻辑，具体口径以官方文档或服务商页面说明为准，但有一点是常识：它是索引提示，不是入口，指望它替代站内链接，基本等于白交。

一条稳定的入口，顶得上十条随机内链

经常有人问内链是不是越多越好。我一般反问回去：这些链接出现在哪个位置、会不会今天有明天没有。首页导航、频道页首屏、面包屑，这几个位置几乎每页都在、长期不变，这是稳定入口。文章底部的相关推荐是算法随机生成，今天推这个明天推那个，蜘蛛来的时候看到，下一趟就找不着了，你说它记不记得住。所以聚合页别太指望推荐位，那玩意儿更像流量工具，不是给爬虫指路的。

分页和参数，最容易把入口做断

聚合页往往带分页。如果分页是靠前端点击再加载，那第二页往后基本等于没入口，蜘蛛连门都摸不着。还有一种更烦的情况，同一个聚合内容能拼出好几套 URL，排序参数、来源参数各算一个地址，爬虫爬到一半就不想爬了。能收敛就收敛到一套，canonical 该写就写，它不能包治百病，但至少别给蜘蛛添乱。参数这块也别放过，?order=、?from= 这种尾巴能砍就砍，砍不掉就在 robots 里处理，注意别一刀切到内容本身。

前端渲染的列表，蜘蛛可能看到的是空壳

现在不少聚合页是前端异步拉数据渲染出来的，人看着挺正常，抓取工具拿到的 HTML 里列表区却是空的。这事儿不用争，直接上命令看：curl -A “Baiduspider” -s https://你的域名/list/ | grep -c “href”，数出来的链接数少得可怜，那就说明入口没在源码里。要么改服务端渲染，要么至少把关键几条入口链接写进初始 HTML。别指望渲染队列一定排得上，排不排得上得看人家的安排。

我数入口的四步，不用装什么工具

第一步，从首页手点一遍到目标聚合页，数跳数，超过三跳就得留个心。第二步，看中间那几层页面是不是每页都有指向它的链接，还是只有某一页某一个角落有。第三步，用上面那条 curl 看源码里链接在不在，顺带看状态码，是 200 还是 301 还是有个 404 藏在里面。第四步，翻抓取日志，看这个 URL 多久来一次、来了返回什么。四步走完基本能定性：入口太少、入口不稳，还是压根没入口。第四步别偷懒，很多人卡在这儿，光看索引量不下结论。

入口改完，别盯着收录数看

调整入口不是按开关，按下去不会立刻见响。蜘蛛重新发现、重新排队、重新抓取都要周期，中间还可能只抓一半就走。改成什么样算合理，回头概括一下：聚合页尽量靠近主干，链接出现在稳定的位置，每个聚合页有一套干净地址，列表别只靠前端渲染。剩下的交给时间。要是两三个周期过去还没动静，再回头查 robots.txt、meta 里的 noindex、页面头部的 X-Robots-Tag，这些我遇到过，页面本身没毛病，一个标签写错，白等小半年。

最后留一份能照着做的清单：先数跳数，超过三跳的聚合页优先处理；再查中间层是否每页都有入口链接；然后用 curl 抓源码确认链接真实存在于 HTML；接着看抓取日志里的访问频次和状态码；最后统一 URL，去掉多余参数、该写 canonical 就写。这几样过一遍，比在那儿猜“是不是内容不够好”靠谱得多。入口理顺了，抓取频率慢慢会回来，急是急不得的。