对一个网站来说，搜索引擎优化是至关重要的，在服务器上哪些东西可以被索引，哪些东西不可以被索引。robots.txt可以向搜索引擎发送命令。所以说，写好robots.txt是很重要的。
一robots.txt是什么
搜索引擎访问网站时第一个要查看的文件就是robots.txt文件。对每一个站点而言，最好都建立一个robots.txt文件，向蜘蛛程序(spider)发出指令：某些文件可索引，某些文件不可索引，即指定内容才可被搜索引擎收录。
二robots.txt文件存放在什么位置，robots.txt文件应当是存放在一个网站的根目录下。
三robots.txt文件的格式是什么
robots.txt文件里应该包含着有一条或者是多条记录，记录之间以空行分隔开，进行注解时使用#符号。使用Disallow语句对所需访问的内容进行限制，可以限制搜索引擎访问网站的目录部分内容，或者只允许某种特定的搜索引擎进行访问。
四关于robots.txt文件的一些注意事项
1明确robots.txt文件并不是毫不允许抓取的的，搜索引擎还是会抓取，但是基本上不会放出收录。
2robots.txt文件的文件名必须小写，否则搜索引擎无法识别。
3有人认为如果某个网站中的全部内容都需要被spider抓取，那么robots.txt文件可以不用存在。这种想法是存在问题的。如果是要去找robots.txt文件而没有找到时，在服务器中会报出404错误。
4也有人认为直接设置robots.txt文里的所有内容被spider抓取，这样就可以提高网站的收录百分率。要知道，当spider收录网站程序这样的文件时，不仅不会提高收录率，还会占用一部分的服务器存储空间。
