泛目录怎么快速收录？卡住的多半是入口

泛目录怎么快速收录，这个问题问的人不少，但多数人找错了方向。卡住的九成是入口——蜘蛛压根没找到那扇门，门后面装修得再讲究也没人进来。我见过把力气全花在批量生成和关键词布局上的，结果访问日志一拉，那个目录几个月没什么像样的抓取记录，白忙。所以这里不聊内容怎么写，只聊门怎么开。

泛目录怎么快速收录，先看蜘蛛能不能找到入口

入口说白了就是路径。蜘蛛从首页出发，靠链接一跳一跳往下走，跳数越多，走到的概率越低。一般经验是把目标页压到三到四跳之内，再深的页面，除非站点本身权重特别高，否则抓取预算分不到它头上。蜘蛛每天来多少次是有配额的，跟站点更新频率、历史抓取反馈都有关系，具体怎么算只有搜索引擎自己清楚，官方文档也只给个大致说法。所以别指望提交了就一定来，先把自己这头的路修好。检查动作很土：site 查一下已收录的数量和形态，看看目录页进没进去；再翻日志，看那个目录最近有没有被访问过。两个结果对不上，说明是入口的问题，不是内容的问题。

入口不是首页，是那张能往下走的网

很多人理解的入口就是首页导航。可泛目录页面动辄成千上万，首页那几十个链接根本撑不住。真正干活的是中间层：栏目页、列表页、归档页、tag 页、发布时间页，这些东西像一张网，把蜘蛛从几个枢纽撒到几千个末梢。做法上注意几点：列表分页用普通 a 标签，别搞成 JS 点击加载，抓取端多半拿不到；第二页往后的分页链接别加 nofollow，那等于自己把路封了；每页条数别太夸张，一页塞几百条，页面体积大了抓取效率反而低；面包屑和返回上一级的链接要实打实存在。还有个细节，列表页别全是缩略图和截断的摘要，蜘蛛得看到点实际内容，才愿意继续往下走。

robots.txt 和 sitemap 打架，是最冤的一种

这情况太常见了。robots.txt 里 Disallow 写错一个目录，把整片泛目录挡在外面，sitemap 还在老老实实提交那些 URL。蜘蛛一看你不让抓，那就不抓，sitemap 里的记录全成了废纸。还有一种，Disallow: / 后面忘了补具体路径，等于全站关门。sitemap 本身也有讲究：里面列的 URL 必须直接返回 200，不能 301 跳转，不能带 session 之类的随机参数；单个文件有条数和体积上限，超了要拆成索引文件，具体数值看官方说明；lastmod 别乱写，每次生成都刷成当前时间，蜘蛛跑几趟发现没变化，以后就不信了。改完 robots 别急着提交，先用 curl 拉一下目标 URL 看返回码，再决定下一步。

URL 多挂两个参数，入口基本等于没有

泛目录最容易出问题的地方就是 URL 形态。?id=123&page=2&from=list 这种带一串参数的地址，蜘蛛很容易判定成无限组合，抓几页就放弃。能伪静态就伪静态，nginx 里一行 rewrite 能解决的事：rewrite ^/list/([0-9]+).html$ /list.php?id=$1 last; 路径短一点，层级浅一点，别搞成 /a/b/c/d/e/123.html 这种让人迷路的结构。还有大小写混用、带不带末尾斜杠返回不同状态码，这些都会让同一个页面裂成好几个入口，权重也散了。统一一种写法，其余的 301 过去，别放着不管。

入口通了，页面自己挖的坑还在

得说清楚，入口解决的是到得了，不是留得下。泛目录批量生成，模板一模一样，正文就几十个字，标题还是硬堆关键词，这种页面蜘蛛抓了也不会放进索引。所以入口通了之后，回头看每个页面有没有一点自己的东西：一段不一样的描述、一张不同的图、一组真实存在的参数。另外别让页面一打开就跳转，也别让首屏全靠 JS 渲染，抓取端看到的就是个空壳。至于最后能收多少，谁也保证不了，能做的就是把门开好、把屋子收拾干净。

看日志比看后台各种工具靠谱

后台的收录数字有延迟，也粗糙。日志是实时的。宝塔的站点日志在 /www/wwwlogs/ 下面，一条命令就能看出谁来过：grep “Baiduspider” /www/wwwlogs/access.log | awk ‘{print $7}’ | sort | uniq -c | sort -rn | head -20 看访问最多的路径是不是你想要的那批，状态码里有没有成片的 403、404、503。403 多半是防火墙或权限拦了，503 是服务器扛不住，这两种都会让搜索引擎降低抓取频次，恢复起来不是一两天的事。日志里如果整片目录一次都没出现过，那答案就摆在眼前了——不是内容不行，是压根没人来过。

几个笨办法，但确实有人靠它撬开入口

站内做几个入口位：最新发布、热门推荐、相关推荐、站内搜索结果页，让这些页面的链接直接指到泛目录的列表页，比在首页堆一百个链接管用。再从几个已经被收录、有稳定抓取的老页面挂一两条链接过去，蜘蛛顺着走一趟，效果往往比提交十次 sitemap 强。外链引蜘蛛这事要谨慎，买那种批量垃圾链，短期看着有动静，后面容易被连坐。站长平台提供的主动提交接口可以接上，各家规则不一样，以官方页面说明为准，别照抄别人的参数。

顺序别搞反。先确认蜘蛛进得来——robots 有没有挡、sitemap 里的 URL 是不是 200、内链两三跳能不能走到、URL 形态干不干净；再确认进来了抓得动——状态码正不正常、响应快不快、页面是不是空壳；最后才谈内容值不值得留。这三步里任何一环断了，后面都白搭。真要说下一步动作，就把最近七天的抓取路径从日志里导出来，跟你的目录列表对一遍，缺口在哪儿，一眼就能看出来。