当前位置:首页> 站内优化

Robots中Allow和Disallow的使用顺序

分类:站内优化  发布时间:2020-04-08 18:32:12  阅读:

  Robots的设置关乎网站收录,如果混淆使用Allow和Disallow,将会给网站收录以及排名带来毁灭性的伤害。

  Allow代表允许抓取的URL或URL集

  Disallow代表禁止搜索引擎抓取的URL或URL集

  例:允许抓取www.yiseor.com/seo/目录下的a.html页面,禁止抓取目录下的其他url,

  【正确写法】

  Allow:/SEO-base/a.html

  Disallow:/SEO-base/

  【错误写法】

  Disallow:/SEO-base/

  Allow:/SEO-base/a.html

  解析:蜘蛛会根据规则,匹配到允许抓取的a.html,禁止抓取SEO-base目录下的其他Url,会排除a.html的禁止抓取;如果先匹配到目录禁止抓取,后面Allow包含的a.html将被忽略,所以书写禁止url前,需要先书写Allow的url;

  Allow和Disallow后面书写的路径可以是绝对路径,也可以是相对路径,视网站抓取规则复杂程度自定义。