robots文件就是放在我们网站根目录下面的一个txt文件，是用来限制和指引搜索引擎蜘蛛爬行的，当搜索引擎蜘蛛来爬行一个网站时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照robots文件中的内容来确定访问的范围；如果该文件不存在，蜘蛛很可能就访问网站里面所有的文件，但是还有一种情况下蜘蛛是不会通过robots，会直接去访问你的网页，这种情况就是你在外部留了链接地址，蜘蛛会通过链接地址直接访问你这个页面，为什么这样说，大家可以看下淘宝网，他是禁止百度蜘蛛来爬行的，大家可以通过百度快照发现首页还是会被蜘蛛爬行。
常见的两大搜索引擎名称：百度 Baiduspider 谷歌 Googlebot
一、语法教程
1、禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
2、允许所有的robot访问网站的任何部分
User-agent: *
Disallow:
3、仅禁止Baiduspider访问您的网站
User-agent: Baiduspider Disallow: /
4、仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
广州网站优化 www.35yi.com 列出的几个都是一些简单的语法，robots还有很多语法的比方说我要禁止蜘蛛爬行我所有的动态路径可以这样写（Disallow: /）