深圳市蚂蚁网络

　　相信大多数的seo新手对robots的写法并不了解，甚至robots是什么都不一定知道！今天我们就来与大家说一下robots的写法与注意事项！

　　一、什么是robots

　　robots是一个协议，给搜索引擎蜘蛛看的，告诉搜索引擎那些文件不准抓取，那些文件可以抓取，就像一个守门

　　的保安站在门口，有goog比如入学xian要看校规一样,robots文件是放在根目录里面的，格式为robots.txt

　　二、robots应该怎么写？

　　1、robots文件解读

　　User-agent:*

　　User-agent指的是针对谁，允许谁的意思，*指的匹配所有的意思，整句话可以理解为允许所有的意思

　　User-agent:Baiduspider指的是允许百度蜘蛛抓取

　　allow指的是允许

　　/指的是目录下面的层几，路径层次

　　allow：/指的是允许抓取整个网站的目录

　　Disallow指的是不允许

　　Disallow：/指的是不允许抓取整个网站的目录

　　Disallow:/data/指的是不允许抓取data/下面的文件

　　$:美元符号指的是匹配文件类型的意思，比如：jpg,png,txt,html等文件格式

　　2、robots需要屏蔽的内容

　　Disallow:/api/

　　Disallow:/data/

　　Disallow:/sourcel/

　　Disallow:/install/

　　Disallow:/template/

　　3、网站地图可以写入robots吗

　　网站地图有两种，一种是html的，另一种是xml的,蜘蛛di一时间访问的是robots，所以我们把网站的地图也放在这里，更容易让蜘蛛知道我们网站的文件有什么，两种文件地图都可以写入robots里面！

　　4、如何写一个简单的robots

　　User-agent:*

　　Disallow:/api/

　　Disallow:/data/

　　Disallow:/sourcel/

　　Disallow:/install/

　　Disallow:/template/

　　三、robots应该注意什么问题？

　　1、一定不要写j对路径，就是不要带我们网站域名。用/代替就可以。

　　2、注意robots文件zhong的所有符号都是在英文状态下写的，比如：Disallow:/wp-admin/zhong“:”是英文状态下的。

　　3、注意空格；例如：Disallow:/wp-admin/zhong":"后面紧跟着是一个空格；

　　4、注意大小写；例如：Disallow:/wp-admin/zhongDisallow的“D”是大写的。

　　5、robots是有生效时间的，是由百度决定的，几天或者两个月以内，所以，一定不要随便屏蔽整站。

　　6、还有一点要弄清楚的就是：

　　Disallow:/help意思是禁止蜘蛛访问/help.html、/helpabc.html、/help/index.html所有的带help的文件及文件夹。

　　Disallow:/help/则是禁止蜘蛛访问/help/index.html这种形式的路径，允许访问/help.html、/helpabc.html，这两个是不一样的，大家要记清楚。