当前位置:首页> SEO心得分享

Robots是什么?怎么写?有什么用?

分类:SEO心得分享  发布时间:2020-04-28 16:32:24  阅读:

  Robots是什么?

  这是网站的一个和访问者之间的协议。并不是强制遵守,但是都会去遵守。

  他可以做什么?他可以告诉搜索引擎,哪些文件可以抓取,哪些文件不可以抓取。全名是robots.txt一般放置于根目录下User-agent:*表明允许各大搜索引擎抓取。

  Robots写法:

  1.允许所有索引收录本站:robots.txt为空就可以,什么都不要写。

  2.禁止所有索引收录网站的某些目录:User-agent:*

  Disallow:/目录名1/

  Disallow:/目录名2/

  Disallow:/目录名3/

  3.禁止某个索引收录本站,

  例如禁止百度:User-agent:Baiduspider

  Disallow:/User-agent:googlebot
       Disallow:/

  4.禁止所有索引收录本站:User-agent:*

  Disallow:/各大搜索引擎蜘蛛名:

  1、禁止抓取动态页面Disallow:/*?*禁止访问网站中所有的动态页面*表示所有

  1、百度蜘蛛:Baiduspider

  2、谷歌蜘蛛:Googlebot

  3、360蜘蛛:360Spider

  4、搜狗蜘蛛:SogouNewsSpider、SogouXXXspider等