很多做SEO的新手站长,第一次听到robots这个词的时候,都搞不清楚该怎么读,毕竟是英文单词,网上不同的人读法也不一样,甚至还有人因为读错了,把robots协议和其他机器人概念搞混,耽误了网站优化。今天就给大家说清楚robots到底该怎么读,还有对应的SEO领域里的基础规则,帮新手站长避开概念误区,少走优化弯路。

robots的音标和中文正确读法
robots是英文单词robot的复数形式,原形robot的意思是机器人,复数robots,音标在英式发音里是/ˈrəʊbɒts/,美式发音里是/ˈroʊbɑːts/,音译成中文的话,大概读作“柔伯特茨”,重音在第一个音节。很多人会误读成“若博茨”或者“罗博茨”,其实发音都不对,正确的发音开头是/rəʊ/(英音)或者/roʊ/(美音),对应中文的“柔”这个音更接近。当然,即使读错了其实也不影响圈内沟通,大家不管怎么读,都知道你说的是网站根目录下的robots协议,不过搞清楚正确读法,和同行交流的时候也更专业。
为什么大家对robots读法争议大
之所以很多人搞不清robots该怎么读,主要是因为这个词是直接从英文拿过来用的,没有统一的官方中文译名,国内SEO圈都是各读各的,新手自然就跟着不同教程的读法走,越搞越乱。加上很多人会把robots和普通的机器人概念混为一谈,其实在网站SEO领域,我们说的robots,默认就是指放在网站根目录下的robots.txt协议文件,用来告诉搜索引擎哪些页面可以爬,哪些不能爬,和工业机器人、服务机器人那些概念完全没关系,所以读法自然也跟着robots.txt走。
SEO里说的robots到底指什么
很多新手搞清楚读法之后,还是不知道robots在网站里到底是做什么的,简单来说,robots就是一套放在网站根目录的文本协议,用来和搜索引擎爬虫沟通。搜索引擎爬虫访问网站的时候,第一件事就是去读根目录下的robots.txt文件,如果你写了规则禁止爬取某个目录或者页面,爬虫就会按照规则不爬这些内容。robots协议是一个行业约定,不是强制的,正规搜索引擎都会遵守,恶意爬虫当然不会管,但我们做正规站,做好robots规则还是很有必要的,能帮我们解决很多SEO基础问题。
新手写robots最容易踩的误区
很多新手第一次写robots,不知道怎么写才对,这里说几个最常见的误区。第一个误区就是不小心禁止所有爬虫爬网站根目录,写成`Disallow: /`,这样整个网站都不会被搜索引擎收录,很多新手写错了,结果网站全掉收录才发现问题。第二个误区是混淆Allow和Disallow的顺序,规则要求越具体的规则写在越前面,比如你禁止爬整个目录,但是又允许爬目录里某个具体文件,那要把Allow写在Disallow前面才会生效,反过来写就不生效。第三个误区是乱用通配符,*代表所有字符,$代表结尾,很多人写错通配符位置,导致规则完全不生效。
怎么快速生成正确的robots规则
如果不会自己手写robots规则,其实不用硬啃语法,网上有很多免费的robots生成工具,你只需要输入你要禁止爬的目录,勾选一下你要禁止的爬虫类型,工具就能自动给你生成符合规范的规则,你直接把生成好的文件放到网站根目录就可以了。对于WordPress站点来说,很多主流SEO插件比如Yoast SEO也自带robots生成和编辑功能,在插件后台就能直接设置,不用你手动上传文件,非常方便。生成完规则之后,你还可以去搜索引擎站长平台,验证一下你的robots规则对不对,有没有写错。
robots规则对SEO到底有多重要
很多新手觉得robots只是一个可有可无的小文件,其实不对,正确设置robots能帮你解决很多SEO核心问题。比如网站的后台目录、分页页面、标签聚合页、搜索结果页这些不应该被收录的低质量内容,你可以用robots禁止爬虫爬,避免网站出现大量重复内容,拉低网站整体权重。另外,如果你网站正在改版,或者还没做好准备上线,也可以用robots禁止所有爬虫爬,等做好了再放开,避免搜索引擎收录半成品页面,影响网站后续的收录和排名。
怎么检查robots规则是否生效
写好robots之后,怎么确认规则有没有生效呢?最简单的方法就是直接在浏览器输入你的域名/robots.txt,看看能不能打开,内容是不是你写的规则,如果能正常打开,内容正确,那第一步配置就没问题。然后你可以去百度或者谷歌的搜索引擎站长平台,里面有专门的robots检测工具,提交你的网站,就能检测你的规则有没有写错,会不会影响爬虫正常爬取。一般等24小时之后,搜索引擎就会自动读取你的新规则,你也可以主动在站长平台提交更新,加快生效速度,不用一直干等。
其实robots怎么读只是一个小问题,就算读错了也不影响你做网站优化,但是搞清楚正确读法,理解robots协议的正确用法,能帮你避开很多SEO基础误区,少出一些因为规则写错导致的收录问题,对网站长期优化还是很有帮助的。如果你的网站还没设置robots,或者很久没检查过robots规则,不妨今天就按照上面的方法检查一遍,避免留下看不见的优化隐患。
【版权声明】:本站所有内容均来自网络,若无意侵犯到您的权利,请及时与我们联系将尽快删除相关内容!