当前位置:主页 > 教程 > 建站教程 > 网站运营 >

如何处理:robots.txt文件存在限制指令
栏目分类:网站运营   发布日期:2018-01-04   浏览次数:

相信很多seoer在网站新上线或者改版之后,都见过首页收录有这么一句“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述”的提示,这是不是搜索引擎的抓取问题?当然不是,这是由于网站重新上线时的一个屏蔽操作导致的,前几天在诊断一

相信很多seoer在网站新上线或者改版之后,都见过首页收录有这么一句“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述”的提示,这是不是搜索引擎的抓取问题?当然不是,这是由于网站重新上线时的一个屏蔽操作导致的,前几天在诊断一个网站(www.zhuoyu-dz.com)的时候,就发现了是robots的问题,关于如何处理,深圳seven下面会讲解到,现在先分析为什么会产生这个现象:

网站robots的屏蔽

网站robots的屏蔽

 

出现robots.txt文件存在限制指令的快照,是因为网站上线前或者测试的时候,网站的内容、标题都还需要不断的修改,为了不让搜索引擎抓取到频繁的修改,所以在robots.txt上做了屏蔽搜索引擎的收录,即disallow:/的限制,seven平时也有这个习惯,在一个网站正式上线前,都会做全站屏蔽;网站正式上线后,加以外链、友链和提交的引导,搜索引擎的蜘蛛过来抓取页面,发现地址存在,但是被屏蔽了抓取,为了遵循互联网的抓取规则,不得已快照上只能显示这句提示,“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述”,这是产生的由来;

那么如何处理这个robots的问题呢?首先第一步是找到根目录下的robots.txt文件,去掉这一句disallow:/,解除屏蔽抓取;第二步很关键,就是到站长平台下去更新robots文件,告诉搜索引擎你的网站已经对它解除了屏蔽,可以来抓取我的网页内容了,不然你可以想象,一个追求你但被你无情拒绝了的人,很难第二次鼓起勇气再次对你表白,除非你对他主动示好,其中更新robots文件就是对搜索引擎的主动示好,快照更新过来之后,现象就会消失了。

robots屏蔽如何解决

robots屏蔽如何解决

 

关于“Robots规则更新后多久会生效”下面也有详细描述;

总结
网站优化无小事,往往一个很小的细节都会让你的优化工作变得事倍功半,robots.txt是网站上线后必须检查的文件,不然连抓取都被屏蔽了,就很难谈到后面的抓取和收录了。

相关热词:

上一篇:没有了
下一篇:没有了
相关内容
1070742881 © 2002-2018 itouw;com 爱投网 版权所有   粤ICP备13087601号-1   关于我们 | 广告合作 | 版权声明 | 意见反馈 | 联系方式 | 原创投稿 | 网站地图 |
特效 教程 资源 资讯 电商学院