robots.txt它是一个文本的文件，是一种存放于网站根目录下的文本文件，它通常会告诉蜘蛛，这个网站中有哪些内容不应该被搜索引擎的抓取程序抓取的，又有哪些是可以被抓取程序抓取的。
robots.txt这个robots必须是要小写的，这是跟网络蜘蛛建立的一个协议，网络蜘蛛来到网站的时候会先去看的就是网站根目录的robots.txt协议文件，它会根据协议规定来进行抓取，但是有些网络蜘蛛它不遵循协议，一般网络蜘蛛都是会遵循的，要是网站根目录没有这个文件的话网络蜘蛛就会沿着我们网站上面的链接一个一个进行抓取。
robots.txt的作用：
（1）它可以引导搜索引擎的蜘蛛抓取指定的栏目或者是内容。相当于去一个陌生的城市，有人带路一样。
（2）当我们网站改版或者是URL重写优化时需要屏蔽不好的链接。不到万不得已千万不要进行网站改版，这个对网站伤害很大的，会引起降权或者是排名收录波动。
（3）可以屏蔽死链接和404错误页面。随着网站内容的增多，死链接和404错误页面是在所难免的。
（4）屏蔽那些无内容和无价值的页面。
（5）屏蔽重复页面，比如说评论页、搜索结果页。
（6）屏蔽任何不想被收录的页面。
（7）引导蜘蛛来抓取网站地图。让蜘蛛更快速来爬取我们网站的链接。
