蜘蛛爬虫抓取网站遵循什么规则？

昨天在站长群聊天，有人问蜘蛛爬虫抓取网站遵循规则到底是啥，自己网站做了好久都没多少收录，怀疑是蜘蛛不按规则来爬。其实啊，做站这么多年我发现，很多新手站长只知道要让蜘蛛来爬，却根本不清楚蜘蛛到底是按什么规矩爬站的，搞不懂规则瞎优化，最后反而适得其反。今天就随便聊聊我这些年摸出来的经验，都是接地气的干货，不是那些书本上抄来的空泛理论。

蜘蛛爬虫抓取网站遵循的核心原则

说核心原则，其实蜘蛛就两个核心，一个是不添麻烦，一个是尽可能多抓有用内容。你给它指了路它就走，你不让它去它就不去，就这么简单。很多人搞一堆花里胡哨的优化，连最基本的规则都没搞对，蜘蛛来了都找不到地方进，这不搞笑吗？
对了，很多人说我robots.txt都写对了啊，怎么蜘蛛还不来？其实robots就是个给蜘蛛看的告示牌，告诉它哪能进哪不能进，你要是写错了，把整个网站都禁了，那蜘蛛肯定进不来啊。我之前就碰到过一个新手，把Disallow写了个/，结果半年都没收录，你说这坑踩得冤不冤？

robots协议之外的默认爬行规则

除了你主动写的robots协议，蜘蛛自己也有默认的爬行规则哦。比如说，蜘蛛不会一下子就疯狂爬你的整个网站，它会先爬首页，然后顺着链接找内页，要是你的网站链接层级太深，点个三四层还找不到内容，蜘蛛爬着爬着就累了，懒得往下走了。
我之前见过一个个人博客，文章链接层级套了四五层，结果一年了才收录了二十多篇，后来改了扁平链接结构，半个月就多收录了上百篇，你说这规则重不重要？还有，蜘蛛爬你的站也会占带宽，要是你的服务器本来就卡，蜘蛛爬两次都打不开，下次就来得少了。所以保持服务器稳定真的很重要，别老是宕机，蜘蛛来了几次都进不去，谁还愿意常来啊？

蜘蛛爬行频率的遵循规则

很多站长都天天盼着蜘蛛多来爬，其实蜘蛛来多来少也是有规则的。你网站更新越规律，蜘蛛来的频率就越高，比如说你固定每周一更，蜘蛛慢慢就摸清了你的节奏，到点就来爬，你要是半年不更一次，蜘蛛来了几次都是旧内容，慢慢就来的少了。
还有，整体权重高的站，蜘蛛爬的频率肯定比新站高，这个没办法，毕竟人家积累在那放着。新站也别急，慢慢来，先固定更新节奏，慢慢蜘蛛就会养成习惯常来了。我之前做新站的时候，就是固定两天更一篇，半个月之后蜘蛛天天来，不到一个月就收录了大部分内容，比那些三天打鱼两天晒网的好多了。

怎么配合蜘蛛抓取规则做优化

说完了规则，给大家说几个简单的优化小技巧，都是我踩过坑之后总结出来的。首先，网站链接尽量扁平化，最多三层就能到内容页，别搞太深的层级，蜘蛛爬着也累，你也没好处。
然后，保持服务器稳定，别老是打不开，这个真的太重要了。我之前有个站，服务器一个月宕机三次，那段时间蜘蛛根本不来，后来换了稳定的环境，半个月才慢慢恢复过来，耽误了好几个月的收录时机。还有，更新内容要有规律，不用你天天更，但是你得固定频率，哪怕一周更一篇都比突然更十篇然后半年不更新要好得多。
对了，别搞那些黑帽手段，比如说隐藏链接、堆砌关键词，蜘蛛现在聪明得很，抓到你违规，直接就不给你好脸色，轻则降权，重则直接把你踢出索引，得不偿失。还有，做好内链，给蜘蛛多铺点路，让它顺着内链就能爬到你的其他文章，这样它能抓到更多内容，你的收录也会更好。很多人做站只盯着外链，不做内链，其实内链对蜘蛛爬行来说更重要，外链是引蜘蛛来，内链是让蜘蛛来了之后能爬更多，两者都不能少。我之前做一个站，新文章发出去之后，在相关老文章加个内链，不出三天蜘蛛就爬了，比外链引蜘蛛还快呢。
哦对了，还有sitemap，很多人问sitemap要不要做？当然要做啊，sitemap就是给蜘蛛画的网站地图，你把网站所有链接都放进去，蜘蛛来了直接顺着地图爬，多方便。尤其是新站，做个sitemap提交给搜索引擎，能加快收录，这个真的有用，我每次做新站都会提交，比不提交的收录快好多。

其实啊，蜘蛛爬虫抓取网站遵循的规则说来说去，核心就是站在搜索引擎和用户的角度想，怎么方便获取信息，你把网站结构理清楚，内容做扎实，服务器稳定不宕机，蜘蛛自然就愿意常来爬，不用搞那些歪门邪道。很多新手站长天天琢磨怎么讨好蜘蛛，反而把最基础的规则都忘了，把简单的事搞复杂了。你就记住，规则都是死的，人是活的，把基础做好，剩下的就是坚持更新，该来的总会来，急也没用。