robots .txt文件Disallow和Allow设置顺序的不同会产生不一样的效果。
拿个robots .txt语法的例子 ：
（1）搜索引擎可以访问/www/seo的文件夹或者URL
User-agent: *
Allow
: /www/seo
Disallow
: /www/
（2）顺序改变后
User-agent: *
Disallow
: /www/
Allow
: /www/seo
这样遵守robots规则的搜索引擎就访问不到/www/seo这个路径了。
robots .txt几个语法 命令 解释 ：
1> User-agent: *【定义搜索引擎。一般情况下，网站里面都是：User-agent: *，这里*的意思是所有，表示定义所有的搜索引擎。比如，我想定义百度，那么就是User-agent: Baiduspider;定义google，User-agent: Googlebot】
2> Disallow 【禁止爬