泛目录蜘蛛代引：成败多半在内页入口

泛目录这套东西跑不起来，九成问题不在程序本身，在那些内页蜘蛛压根儿走不到。这话我说过不止一遍。外面听着玄乎的「泛目录蜘蛛代引」，拆开其实就两件事：一是能不能大批量造页面，二是蜘蛛能不能顺着入口爬到那些页面上。前者是程序的事，后者是入口的事——折腾过的人都清楚，栽在第二条上的居多。

泛目录蜘蛛代引，成败基本卡在内页入口

为什么？把抓取日志拉出来看看就很清楚：首页抓得挺勤，分类页偶尔来一趟，再往下的详情页静悄悄。蜘蛛不是人，它不会猜你想让它看哪一页，它只认链接。首页上挂了十个入口，它就只摸到十个，第十一层的东西，在它眼里等于不存在。

这里有个反常识的点——页面数量多，不等于内页入口多。生成一万个 URL，要是全指望首页那个「更多」按钮串起来，这一万个页面在蜘蛛看来就是一座孤岛。孤岛上的东西再好看，也没人上岸。

蜘蛛是来了，到第二层就断

拿着日志跑来问「蜘蛛天天来怎么还是不收录」的，我见得多。翻开一看，抓的全是首页。这就是典型的以为来了，其实没进去。抓取额度这东西有上限，同一个时间窗里蜘蛛能抓多少页是有数的，它把力气耗在你首页那些带参数的、重复的、一会儿一变样的 URL 上，深层的自然轮不上。

值得盯的几处：robots.txt 有没有不小心把 /list/、/page/ 这类目录 Disallow 掉；页面上的链接是不是全挂了 nofollow；靠 JS 拼出来的链接蜘蛛不一定执行；翻页翻到第二十几页还有没有正常链接——有的程序一翻页就变成一串参数，看着在，链路早断了。

内链不是塞关键词，是把路铺顺

绝大多数人理解的内链，就是正文里插几个锚文本，那只是最表层。真正顶用的是路标：面包屑别用 JS 渲染；列表页分页要清楚；每条内容底下放三到五条真相关的推荐；分类别做成一锅粥，按属性切细。一层一层能顺着走到的东西，蜘蛛才敢往下探。

看那些抓取顺畅的站，路径基本都顺：首页→分类→列表→详情，层层收窄，每层都留着出口。抓不动的站，往往第一层就断了。

URL 脏了，入口修得再好也白搭

伪静态是老话题，可就是有人懒得动。/index.php?c=news&id=12345&from=list 这种地址蜘蛛照抓，但它对内容质量的判断会打折；更麻烦的是同一篇内容能被拼出好几种参数组合，抓取额度就这么一点点漏掉。

做法不复杂：能静态化就静态化；动不了的，保证一篇文章只有一个入口 URL，参数版用 canonical 收一收。这一步决定了蜘蛛是把力气花在新页面上，还是花在同一个页面的第八个版本上。

日志不会骗人，看三处就够

第一看状态码分布。5xx 多说明服务器顶不住蜘蛛的压力，抓到一半跑了；404 多说明死链在漏，爬虫顺着旧链接乱撞。第二看抓取深度，绝大多数请求停在哪一层，那层就是你入口的瓶颈。第三看频次曲线，什么时候陡降，往前推那会儿你改了什么。

日志不用天天盯，一周拉一次，按小时聚合看个大概就行。别指望统计插件，那玩意儿只记访客不记蜘蛛，翻半天全是人来的记录。

爬进来也不等于留得住

入口修好，蜘蛛进来了，接下来拼的是内容。泛目录最容易翻车的地方是模板雷同：标题换个词，正文还是那几段话来回倒，抓两页就腻了。同一批内容还被不同 URL 反复访问，它更没兴趣。

内容薄也是问题。一页就两三百字，还都是拼凑的，爬进来也待不住。这个坎不好过，但至少做到一件事：每个页面有自己的、能读的那部分信息，别全靠模板填空。

代引和蜘蛛池，别当救命稻草

市面上讲代引的很多，逻辑无非是让外面的抓取来敲你的门，把你没被发现的页面递上去。有用没用？短时间内看日志会热闹一些，热闹不等于价值。来路不明的抓取往往只摸几页就走，还顺带压你的带宽。有些服务的行为本身也有风险，掏钱之前把对方说明看清楚，以服务商或官方页面说明为准，别信口头承诺。

更关键的是——外面引来的蜘蛛，一样要顺着你的内链往下走。入口是烂的，引来也白引，就好比路修在外地，你家门口那段还是泥。

修路的事，先自己动手

几件能立刻做的：robots.txt 放行该放的目录，顺手提交 sitemap；首页和分类页留足入口，而且这些入口的 URL 别老变；分页给真实链接；参数版收敛到一个主地址；把历史死链清一遍，或者至少做个 301；日志一周拉一次，盯状态码、深度、频次。

泛目录蜘蛛代引这四个字被讲得像独门技术，落到实操就是入口工程。别急着堆量，先想办法把蜘蛛从首页领到第三层、第四层去。路通了，量才有意义；路不通，生成再多页面也只是给自己看。