菜鸟学堂-网站robots协议的写法规范和注意语法

是个SEO站长都知道robots协议是搜索引擎访问网站第一个访问的文件，robots协议里的语法命令是告诉搜索引擎在访问网站时要遵守哪些协议，不要到处乱爬乱抓取。对于很多新手SEO来讲，虽然知道robots为何物，但是对robots协议的写法规范、注意要领还是迷糊的。

很多人会有“robots该屏蔽网站哪些文件，不该屏蔽哪些文件呢！”、“屏蔽与不屏蔽怎么书写语法命令”这些疑问。的确，robots协议写好了可以给网站SEO优化加分，写错了那伤害也是刚刚的。菜鸟菌经常会发现有人问，我的网站都是原创内容，就是不收录，结果一看，好家伙，robots协议屏蔽蜘蛛了。

所以，robots协议作为蜘蛛访问网站的第一道锁线，站长们要正确认真对待，哪里该封锁，哪里该放开，要在robots协议里写的明明白白。下面菜鸟菌讲下robots协议的写法规范和注意语法。

robots的语法主要有5个，即：

   1、“User-agent”，定义搜索引擎，用来表明协议是针对哪些搜索引擎蜘蛛的；

   2、“Disallow”，禁止抓取，用来表明协议禁止抓取哪些文件；

   3、“Allow”，允许抓取，用来表明协议允许抓取哪些文件；

   4、“$”，结束符；

   5、“*”，通配符；
1
2
3
4
5
6
7
8
9

其次，robots协议的语法首字母必须是大写，每个语法一行一个。语法后面跟着英文状态下的冒号，冒号后要有个空格。例如：

   User-agent:* 
   此语法表示下面的协议对所有的搜索引擎生效

   User-agent:baidus
1
2
3