robots.txt文件的Disallow和Allow行的区别

robots
.txt文件Disallow和Allow设置顺序的不同会产生不一样的效果。

拿个robots .txt语法的例子

(1)搜索引擎可以访问/www/seo的文件夹或者URL
User-agent: *
Allow
: /www/seo
Disallow
: /www/

(2)顺序改变后
User-agent: *
Disallow
: /www/
Allow
: /www/seo
这样遵守robots规则的搜索引擎就访问不到/www/seo这个路径了。

robots .txt几个语法
命令
解释

1> User-agent: *【定义搜索引擎。一般情况下,网站里面都是:User-agent: *,这里*的意思是所有,表示定义所有的搜索引擎。比如,我想定义百度,那么就是User-agent: Baiduspider;定义google,User-agent: Googlebot】

2> Disallow 【禁止爬取】

3> Allow 【允许】

4> $ 结束符【Disallow: .aspx$ 这句话就是屏蔽所有的以.aspx结尾的文件,不管它前面是什么样子】

5> * 【0或多个任意字符。Disallow: *?* 这个是屏蔽所有带“?”的文件,可以这样屏蔽所有的动态路径】

总结来说就是robots.txt
这个文件里语法的顺序是从上到下匹配
,先允许后禁止。另外注意:User-agent,Allow,Disallow的“:”后面有一个字符的空格。

总结+复习..