robots.txt是什么,如何设置robots文件 有时候我们网站的某个页面或文件不想让搜索引擎蜘蛛抓取时，我们就需要用到蜘蛛协议文件也就是robots.txt文件，robots文件一般统一存放在网站根目录下，目前百度和谷歌都支持这个文件。robots也是网站比较重要的文件，因此我们在进行设置的时候就要谨慎了，因为robtos设置失误可能会导致网站某个文件不被收录或者无效等。 在设置robots文件时需要注意以下几点： 1.如果你的网站对所有的搜索引擎公开，那么你就不需要做这个文件，或者上传一个空的robots文件也行。 2.蜘蛛协议文件的名称为：robots.txt，并且都是小写，robot后面加"s"。 3.robots文件是放置在网站的根目录下面的，盛世华彩商城系统后台robots文件设置就比较方便，您只需登录后台就可以进行设置了，设置好了之后您可以在浏览器地址栏中输入您的网址加上“/”斜杠，后面再加上“robots.txt”--按回车，就可以查看robots文件设置是否成功了。
(如：http://www.zhuyun.cn/robots.txt)。 4.robots文件一般包含User-agent和 Disallow两个函数，以下为函数使用规则： 1).User-agent: * 星号说明允许所有搜索引擎收录，一般放在文件的第一行位置。 2).Disallow: 是禁止的意思，需要屏蔽某个文件只需要在文件之前加上Disallow: 就行了。要注意的是Disallow: 命令只能禁止一个文件不被收录要禁止多个文件就要分行来进行描述。并且Disallow: 与文件名之间需要用空格隔开。 3).如果都不允许收录时可以在robots文件中写上Disallow: /指令就行了。
4).要想禁止某个页面不被收录是可以用：Disallow: /search.html 说明 http://www.zhuyun.com/search.html 这个页面禁止搜索引擎抓取。 5).要想禁止某个文件不被收录时可以使用指令：Disallow: /Admin/，要注意的是文件名的字母大小写要和实际目录中的大小写要统一。 以上对robtos文件的设置做了相关简单的说明，当然还有很多的细节没有说到，因此建议您在对网站robots文件进行设置之前最好阅读相关说明或者相关资料，然后在进行操作，此文仅供参考。 文章出自:盛世华彩独立网店系统供应商(本站原创,转载请注明出处!)
