聚合页改完一周：收录开始有动静

聚合页改完一周收录开始有动静，这个节点最容易让人上头。后台随便一查，多了几条结果，就觉得改版成功了；过两天数字又缩回去，心情跟着坐过山车。先稳一下，收录有动静只说明蜘蛛开始搭理你，离稳定放量还差着几道坎。真正该看的是它抓了什么、留下没留下、用户点进去有没有停留，这三件事没理顺，数字涨一点也只是热闹。

聚合页改完一周收录开始有动静，先分清被抓和被放

抓取和收录不是一回事。日志里看到蜘蛛来过，只能证明它发现了 URL；真正放不放出来，还得看页面值不值得留。site 命令给的那个数，本来就有延迟和抽样，拿它当唯一标准，迟早误判。更靠谱的做法是看服务器日志里的状态码、抓取频次，再对照站长平台里的索引数据，两边能对上再下结论。各家平台口径不一样，具体以官方页面说明为准。还有个容易忽略的点：移动端和 PC 端的抓取 UA 可能不一样，日志里最好按 UA 分开看，别把两边的量混在一个总数里自我安慰。

日志比 site 数字诚实

聚合页刚改完那几天，蜘蛛来得很勤，不代表它抓对了地方。我见过一种情况，日志里爬虫一天来好几趟，但抓的全是带一堆参数的筛选链接，真正的聚合主页面一次没进。你说这算有动静吗？算，但方向不对。把带参数的、空结果的、重复的 URL 从日志里拎出来，比盯着收录总数有用。状态码也顺手看，200 是正常，304 说明缓存生效，5xx 多了就得先修服务器，别急着谈收录。日志文件大了别硬用文本编辑器打开，按小时切分再统计，或者导进临时表用 SQL 聚合，比肉眼扫靠谱得多。看完记得把临时数据清掉，别把日志库撑爆。

入口不给，内容再好也白搭

聚合页最容易变成孤岛。列表页不链，导航里没入口，sitemap 里漏了，蜘蛛只能靠外链碰运气。改完一周这个阶段，先别急着加新页面，把已有聚合页的入口理顺：分类页给个明显位置，相关聚合页之间做几条自然的内链，分页别用那种点不完的无限滚动。内链不是越多越好，堆一屏链接反而像在清仓甩卖，用户看着累，蜘蛛也未必领情。做内链有个小技巧，锚文本用页面自己那句人话摘要里的词，别全站统一用同一个词；统一锚文本看着整齐，实际是把一堆页面的主题信号糊成一团。

分页和筛选参数，最容易出岔子

聚合页很少只有一页，分页一上，坑就来了。第一，分页标题别全是同一个，第 2 页、第 3 页的 title 稍微带点区分，不然一堆近似的页面互相打架。第二，筛选参数能收敛就收敛，颜色、排序、价格区间这些组合能拼出成千上万个 URL，蜘蛛一进来就被吸进去出不来，抓取预算全消耗在垃圾页上。第三，翻到最后一页的空结果，别给它 200 状态，也别让它和主聚合页一样的 canonical，处理干净点。第四，分页链接别只做上一页下一页，给个跳转或者序号，用户和蜘蛛都好走。翻页这地方看着土，实际决定蜘蛛能走多深。

页面得像个能落地的结果页

聚合页的病根通常不在生成技术，而在生成出来太像模板。标题只换一个词，摘要全是同一句，正文就是把几条内容拼一起，用户点进来扫两眼就退。这样的页面，蜘蛛抓几次也会降频。改法不复杂：每个聚合页有自己的筛选逻辑和一句人话摘要，空结果页要么给替代推荐，要么干脆 404 或 410，别让一堆空壳挂在那。还有个细节，canonical 别乱指，筛选参数多的页面自己指自己就行，硬指到主聚合页反而容易让蜘蛛迷糊。另外把页面的正文放到前面，筛选控件和广告往边上挪，蜘蛛读到的和用户看到的第一屏尽量是一回事。

上线别一次全量放出来

这是我自己踩过的一个坑。当年一口气把几万个聚合页全放出去，sitemap 一次提交完，结果蜘蛛进来一看，全是长得差不多的页面，抓了几天就懒得来了，后面真正有意思的页面反而排不上队。后来改了打法：先放最核心的那批，观察一两周抓取频次和状态码，稳了再放下一批，每次放量控制在一个蜘蛛还能消化完的规模。听起来慢，实际总时间更短，因为不会出现那种”抓了一堆、留下没几个、剩下全堆在队列里”的局面。放量节奏这东西没有标准答案，得看你站点本身的抓取预算，以自己日志里的实测为准。

服务器、缓存和数据库，别在背后拖

聚合页如果是数据库拼出来的，排序、分页、筛选一套组合拳下来，查询很容易变慢。服务器响应一拖，蜘蛛抓两下就走。CDN 这边也注意，别把错误页或者空结果页缓存住，回源规则和缓存键要看清楚。日志如果被 CDN 挡在前面，源站看到的 IP 和 UA 可能不全，排查时得把回源日志也打开。MySQL 的慢查询日志顺手看一眼，别让一个排序语句把整页拖死。云服务器配置不够就升，别在蜘蛛来的那几天硬扛。缓存时间也别一刀切设太长，聚合页刚上线那几天内容还在调整，缓存设得太久，用户和蜘蛛看到的都是旧版本。

一周后该干的几件小事

第一，把服务器日志按状态码和 URL 类型分个组，看蜘蛛到底在抓什么。第二，sitemap 里只留真正想放出来的聚合页，别把几万条筛选组合全塞进去。第三，挑几个有代表性的聚合页，手动搜标题、搜长尾词，看看能不能找到；找不到就查内链和抓取。第四，空结果页、重复页、参数页该合并的合并，该屏蔽的屏蔽。第五，别一天改三回模板，蜘蛛刚熟悉结构又被你换掉，它也会烦。第六，打开统计看看这些聚合页有没有真实点击，没有点击的收录，价值得打个问号。这些动作不花哨，但比天天刷 site 数字踏实。

收录有动静是好事，但也只是个开头。聚合页这玩意儿，质量、入口、速度三样缺一个都容易卡住。再观察一段时间，看抓取是否稳定、索引是否留下、落地页有没有真实点击，别因为一周的数字忽上忽下就大改。真要做，就小步调，一次只动一个变量，出问题还能知道是谁惹的祸。