聚合页收录｜入口铺不对，蜘蛛来也白来

聚合页收录这件事，八成不是内容不够，是入口没铺到蜘蛛脚下。蜘蛛不是人，它不会在你站内的搜索框里敲词，也不会去点那个「加载更多」，它只认 HTML 里一条一条的 <a href>。入口铺不到它脚下，页面做得再齐整，也只是躺在库里等下一次。

聚合页收录｜铺不对蜘蛛来也白来，卡住的多半是点击深度

从首页到聚合页，点几下能到？这个问题很少有人真去数。我的经验是超过三层就开始掉——首页一层，频道页二层，聚合页三层，再点进详情四层，这个深度还算能接受。要是聚合页只能从某个标签页的第三屏翻出来，或者得先点「全部」再点「更多」，那基本等于给蜘蛛设了四道门。常见的做法是在频道页甚至首页侧栏，固定挂几个主力聚合页的入口。就那么几个，别一挂挂两百个，挑内容最厚、更新最勤的那几个长期挂着，剩下的走内链慢慢给。

入口得是普通链接，别藏在搜索框和下拉菜单后面

站内搜索出来的结果页，蜘蛛爬不到——它不会在你搜索框里打字。分类筛选的下拉菜单用 JS 拼参数，点一下才出结果，也一样白搭。还有那个「加载更多」，ajax 拉下一页，人看着顺，蜘蛛到手是一副空壳。想让它看到，就把分页做成一串真实的链接，页码直接指向 ?page=2 这种可抓的形式。链接可以折叠在「展开」里，但 href 必须在初始 HTML 里出现。

图片懒加载现在很流行，注意别把带链接的列表块一起懒掉了。我见过一个站，整个标签列表是懒加载出来的，蜘蛛一年没走进去过，页面本身挺好看，就是入口断了。还有 nofollow，别图省事整块列表加 nofollow，不想让抓的页面用 robots 或 noindex 单独处理，一刀切下去伤的是自己。

sitemap 和分页这两个口子，最容易被忽略

不少站的 sitemap 只塞文章，聚合页一条没有。不是工具不会生成，是压根没想着把它加进去。聚合页单独做一个 sitemap 文件，数量不多就一条条列清楚，比混在一个大文件里强得多。反过来也有另一种毛病：把聚合页的每一页分页全塞进 sitemap，几十页同一套内容，白占抓取位。分页只报第一页，后面靠页内链接串起来。canonical 记得指回第一页，别每页都自指，那样蜘蛛会当成一堆独立页面互相打架。lastmod 也别忘，聚合页补了新内容，sitemap 里的时间跟着动一动，蜘蛛下次来会先看这些变过的。

内链的方向，多数人搞反了

我见过的站，十有八九把内链堆在文章底部，全指向首页和几个栏目。聚合页呢，孤零零的，除了导航没人链它。方向应该反过来——每篇文章末尾链回它归属的那个聚合页，等于往回喂。聚合页之间横向串，同城、同类的相邻几个互链，织成一层中转网。聚合页再往下链详情，蜘蛛从任何一篇文章进来，都能顺着一条路上到聚合页，再从聚合页去别的聚合页。这层搭起来以后，新聚合页上线当天被摸到不算稀奇。

反过来，聚合页里全是详情链接、一条指回去的都没有，那它就是个终点站。蜘蛛爬进去出不来，抓取效率全浪费在兜圈子上。做内链不用多，一个聚合页给两三条横向链接就够，别搞成链接农场那种密度。

入口铺太多，抓取预算会被撕碎

这条是给用泛目录、批量生成聚合页的人听的。城市乘品类乘年份，一下几万个页面，每个都挂着入口，看着铺得挺满。蜘蛛一天能爬多少是有上限的，具体数谁也不知道，但肯定不是无限。它把时间花在几万个长得差不多的页上，你真正想要收的那几十个反而轮不上。我的建议是砍。先把几十个有真东西的聚合页做出来，入口给足，剩下的要么 noindex，要么等内容够了再放出来。数量不是护城河，铺得开不如铺得准。

上线之后怎么验证入口铺对没铺对

别只盯着 site 数字，那个东西滞后，也不准。几个能落地的检查：找一条只有聚合页才有的内链，看蜘蛛有没有顺着爬过去；翻服务器日志里蜘蛛对你聚合页 URL 的请求，状态码是 200 还是 301、404，一天来几次；把聚合页 URL 单独提交一次，看它下一轮来不来；页面源码里搜一下目标地址，确认 href 是真实存在的，不是 JS 拼出来的；再模拟一遍从首页出发，看三次点击能不能走到。这一圈走完，问题基本藏不住。

入口这事，说复杂也复杂，说简单就是一串链接摆对位置。聚合页收录｜铺不对蜘蛛来也白来，铺对了它自己会来。别天天刷提交刷推送，先把自己站里那几条路亲自走一遍，看看人点得顺不顺、蜘蛛爬不爬得到。多数时候，修一个入口比写十篇文章管用。