Robotsde是用来处理死链的吗？

　　robots的应用

　　主要用于定义允许/禁止爬行的搜索引擎蜘蛛，允许/禁止蜘蛛爬行网站路径，允许/禁止蜘蛛爬行URL规则以及告诉某些搜索引擎站点地图URL。

　　此处针对百度搜索引擎讨论了死链的处理。最主要的是转到网站站长工具，并将死链提交给百度，告诉百度该链接不存在，并请求删除以前的集合。这是以txt或xml的形式批量提交Dead的链接。

　　现在让我们谈谈死链和机器人之间的关系。许多人认为僵尸是机器人的定义。他们认为使用Disallow禁止百度蜘蛛爬行。这个主意很好。出发点无非就是不想让百度包括他们网站的死亡。链，但您是否考虑过快照的问题，即此链接是无效链接，但是网站上仍然有快照，您会怀疑百度是否仍可以抓取我的无效链接，因此您在Robot中添加了多行Disallow，以禁止百度加入您的死链。实际上，这是一种完全相反的方法。

　　需要弄清楚死链是如何产生的?无效链接是由于文件删除或路径修改而导致无法访问的链接，因此您需要做的第一步是完全删除该无效链接，第二步是提交该无效链接，并且由于该路径存在，机器人会禁止包含该链接，但是您不希望被包含在搜索引擎中，例如网站背景或用户中心，因此仅添加Disallow禁止包含。无效链接是无法访问的链接。如果您清除了第一步，是否需要执行此“禁止”操作?因为您没有完全消除死链，所以不可避免地会影响用户体验。