怎么处理:robots.txt文件存在限制指令

　　一些网站新上线或者改版之后，百度首页收录有这么一句“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述”的提示，这是不是搜索引擎的抓取问题?当然不是，这是由于网站重新上线时的一个屏蔽操作导致的。

　　网站robots的屏蔽

出现robots.txt文件存在限制指令的快照

　　是因为网站上线前或者测试的时候，网站的内容、标题都还需要不断的修改，为了不让搜索引擎抓取到频繁的修改，所以在robots.txt上做了屏蔽搜索引擎的收录，即disallow:/的限制，在一个网站正式上线前，会做全站屏蔽;网站正式上线后，加以外链、友链和提交的引导，搜索引擎的蜘蛛过来抓取页面，发现地址存在，但是被屏蔽了抓取，为了遵循互联网的抓取规则，不得已快照上只能显示这句提示，“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述”，这是产生的由来;

那么如何处理这个robots的问题呢

　　首先第一步是找到根目录下的robots.txt文件，去掉这一句disallow:/，解除屏蔽抓取;第二步很关键，就是到站长平台下去更新robots文件，告诉搜索引擎你的网站已经对它解除了屏蔽，可以来抓取我的网页内容了，其中更新robots文件就是对搜索引擎的主动示好，快照更新过来之后，现象就会消失了。