当前位置:首页> SEO教程

Robotsde是用来处理死链的吗?

分类:SEO教程  发布时间:2020-04-22 18:21:25  阅读:

  robots的应用

  主要用于定义允许/禁止爬行的搜索引擎蜘蛛,允许/禁止蜘蛛爬行网站路径,允许/禁止蜘蛛爬行URL规则以及告诉某些搜索引擎站点地图URL。

  此处针对百度搜索引擎讨论了死链的处理。最主要的是转到网站站长工具,并将死链提交给百度,告诉百度该链接不存在,并请求删除以前的集合。这是以txt或xml的形式批量提交Dead的链接。

  现在让我们谈谈死链和机器人之间的关系。许多人认为僵尸是机器人的定义。他们认为使用Disallow禁止百度蜘蛛爬行。这个主意很好。出发点无非就是不想让百度包括他们网站的死亡。链,但您是否考虑过快照的问题,即此链接是无效链接,但是网站上仍然有快照,您会怀疑百度是否仍可以抓取我的无效链接,因此您在Robot中添加了多行Disallow,以禁止百度加入您的死链。实际上,这是一种完全相反的方法。

  需要弄清楚死链是如何产生的?无效链接是由于文件删除或路径修改而导致无法访问的链接,因此您需要做的第一步是完全删除该无效链接,第二步是提交该无效链接,并且由于该路径存在,机器人会禁止包含该链接,但是您不希望被包含在搜索引擎中,例如网站背景或用户中心,因此仅添加Disallow禁止包含。无效链接是无法访问的链接。如果您清除了第一步,是否需要执行此“禁止”操作?因为您没有完全消除死链,所以不可避免地会影响用户体验。