一.robots.txt详细作用
1.对搜索引擎做出规则，抓取或许不抓取。
2.由于有些信息规则了不让抓取，所以可以维护到一些必要的信息，比方：网站后台，用户信息。
3.节省搜索引擎抓取资源。
二.robots.txt规则
1.User-agent，用于通知辨认蜘蛛类型。比方，User-agent: Baiduspider 就是指百度蜘蛛。
各类蜘蛛罗列如下：
百度蜘蛛：Baiduspider
谷歌机器人：GoogleBot
360蜘蛛：360Spider
搜狗蜘蛛：Sogou News Spider
雅虎蜘蛛：“Yahoo! Slurp China” 或许 Yahoo!
有道蜘蛛：Youdaobot 或许 Yodaobot
Soso蜘蛛：Sosospider
2.Allow，允许蜘蛛抓取指定目录或文件，默许是允许抓取一切。
3.Disallow，不允许蜘蛛抓取指定目录或文件。
4.通配符，“*”，婚配0或多个恣意字符。
5.终止符，“$”，可以婚配以指定字符开头的字符。
举个例子：上面是一个wordpress顺序的robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /*.js$
Disallow: /*?*
Sitemap: http://www.leheseo.com/sitemap.xml
解释：
User-agent: *：对一切搜索引擎都运用上面的规则。
Disallow: /wp-admin/：不让蜘蛛抓取根目录下的wp-admin文件夹。
Disallow: /*.js$：不让蜘蛛抓取根目录下一切的js文件。
Disallow: /*?*：不抓取一切的静态链接。
Sitemap: http://www.leheseo.com/sitemap.xml：给蜘蛛提供网站地图，方便蜘蛛抓取网站内容。
三.robots.txt留意事项
1.假如你希望搜索引擎收录网站上一切的内容，那么就不要树立robots.txt文件。
2.假如同时存在静态和静态链接，那么建议屏蔽静态链接。
3.robots.txt只能是屏蔽站内文件的，对站外文件没有屏蔽功用。
4.User-agent，Allow，Disallow，Sitemap的首字母都是大写的。
5.User-agent，Allow，Disallow，Sitemap的冒号前面都是有空格的，没有写空格直接写接上去的内容会出错。
6.网站通常会屏蔽搜索后果页面。由于搜索后果页和正常展现的内容页相比，标题和内容上相反的，而这两个页面链接是不同的。那搜索引擎该将这篇文章归属于哪个内链呢?这样就会形成内链之间互相竞争，形成外部资源损耗。
比方下面举的例子，那个wordpress顺序，在没有设置伪静态，还是静态链接的时分，搜索后果页面链接都包括有/?s=，而 标题和内容 与 正常展现的静态链接内容页反复，可以经过Disallow: /?=*来屏蔽搜索后果页面。
而如今那个wordpress顺序曾经设置了伪静态，也设置了Disallow: /*?*，Disallow: /*?*自身就包括了Disallow: /?=*，所以Disallow: /?=*这句写不写都没有关系
7.建议屏蔽js文件。Disallow: /*.js$，以 .js 开头的途径通通被屏蔽，这样就屏蔽了js文件。
8.途径是区分大小写的。Disallow: /ab/ 和 Disallow: /Ab/ 是不一样的。
9.robots.txt会暴露网站相关目录，写robots.txt时要思索到这一点。
10.有些seo会将文件直接备份在效劳器中，文件是 .zip 格式，然后在robots.txt中屏蔽。团体不建议这样，这就是分明通知人家你的备份文件地位。建议文件和数据都备份到本地。
11.一些特殊规则比照：
①Disallow: /和Disallow: / ab (/前面有个空格，再有ab)是一样的，/前面多了个空格，蜘蛛之认空格后面那一段，就是Disallow: /，所以两个都是屏蔽整站的。
②Disallow: /ab和Disallow: /ab*是一样的。比方两个都能屏蔽http://域名/ab，http://域名/abc，http://域名/abcd。
③Disallow: /ab/和Disallow: /ab是不一样的。很分明，Disallow: /ab范围更广，包括了Disallow: /ab/。由于Disallow: /ab/只能屏蔽http：//域名/ab/，http：//域名/ab/....这样的途径，也就是只能屏蔽ab目录和ab目录下的文件不被蜘蛛抓取。
四.验证robots.txt文件的正确性和能否失效
当我们写好了robots.txt文件后，怎样确定文件的正确性呢?上传到效劳器根目录后，怎样判别robots.txt文件能否失效了呢?这时我们可以借助百度资源平台Robots。比方输出乐呵SEO测试服网址，失掉如下后果。
验证robots.txt文件能否失效
检测到robots.txt文件的内容
验证robots.txt文件的正确性
后果证明，http://wordpress.leheseo.com/robots.txt这个文件没有语法错误，并且曾经失效了。
若是想测试某一个目录或许文件能否被屏蔽了，百度也是提供了工具的。如下图，由于 http://wordpress.leheseo.com 是测试服，我屏蔽了一切文件。所以无论我输出根目录下的任何目录或许任何文件，都是检测不到的，也就是说蜘蛛是抓取不到的。
输出了后台目录wp-admin：
后台目录检测后果：
经过测试，其他文件和目录页也检测不到，所以这个功用还是很好用的。
更多robots.txt内容，可以参考百度提供的文档哦。https://ziyuan.baidu.com/college/courseinfo?id=267&page=12
robots.txt写法和留意事项就总结到这里了，内容绝对细致，结合了例子解说会很容易看懂，希望对您有所协助咯。
