智火营销资讯

打造一流的网络营销产品与服务,探索最前沿的技术创新
主页 > 公司新闻 > 苦逼站长与robots不得不说的故事

苦逼站长与robots不得不说的故事

  小猫今天想说的就是一个小伙伴们都非常熟悉的东西:robots文件,相信小伙伴们对这个文件都不陌生吧!但是呢小猫就发现,很多的站长小伙伴都忘记了robots的重要性,robots表示很生气,后果很严重。小猫的都是自学的,看到robots文件的问题以后,我就问了一些SEO大 神,robots文件很重要吗?当时,这位大神就对小猫语重心长的说:robots可以成就你的网站,也可以毁掉你的网站,所以,robots还是很重要的。小猫用下面的小故事来告诉大家robots对站长小伙伴多么的重要,这个故事是发生在别人身边的,但是小猫为了叙述方面,就改为第一人称了,小伙伴们 就不要在意这些细节了哈!

  闲话少说,小猫来和大家聊聊robots对我们网站的一些影响。在A5站长网群里有一位小伙伴跟小猫的关系比较好,有一次,他的网站有上千的收录的,但是到一个下午以后,收录突然变为0了。当时他非常的紧张,因为网站的收录没有了,网站的流量也没有了,幸幸苦苦一个多月的时间,到头来发现都是井中月水中花,看得见摸不到。当时这位小伙伴就很灰心,就跑到A5站长群里聊天,问其他的站长小伙伴是怎么回事,网站被K了啊,怎么办呢!A5站长群的小伙伴们还是很热心的,有很多人帮他检查原因,经过一段时间的 检查以后大家发现了原因,那就是他网站的robots文件屏蔽了百度蜘蛛抓取网站页面。

  现在就有小伙伴想问了:为什么会出现这种情况 呢?原因就在大他在做网站的时候robots文件是完全屏蔽了百度蜘蛛抓取的。相信大家都知道一个事实,就是当你写好了robots文件规则,屏蔽了百度 蜘蛛的时候,发现百度还是会抓取的,道理很简单,百度毕竟不是人,不能做到人一样的智能化,所以百度还是会派蜘蛛来抓取页面的,但是站长小伙伴也别慌,等过段时间以后,百度就会把已经抓取的页面(robots文件屏蔽的)从自己的索引库中删除,百度也会有一个发现的过程,然后改正、纠错。

  这位小伙伴还问了一句话:为什么会去屏蔽百度蜘 蛛啊?因为网站是刚做好的,而且他本人也有学习SEO,所以也知道关于robots文件方面的内容,明白做一个新网站可以暂时屏蔽百度蜘蛛,等网站做好了在提高给百度,并且把robots文件修改下,允许百度抓取。可能最后是他忘记了吧,把这么关键的一步给忘记了,导致他幸幸苦苦做的网站和外链一夜回到解 放前了。不做死就不会死啊,那段时间他真的很痛苦,整个人的情绪也不是很高。

  小猫想通过这个小伙伴的经历提醒大家去重视 robots文件这个问题。robots很重要,请不要轻易的忽视了,顺便小猫也说说自己做robots文件的一些经验,我记得在网站刚开始的时候,小猫 也没有注意robots文件这个东西,觉得这个东西无所谓啦。然后通过一段时间自己摸索,小猫发现自己错了,小猫开始重视这个问题,然后把网站上一些垃圾 的、不想推的页面和图片全都给屏蔽了,页面主要都是动态的,大家都知道百度喜欢的是静态的页面,如果你的网站是动态的,会造成的多次抓取,给度娘 的态度很不友好,浪费的蜘蛛的时间和资源,你说度娘会对你的网站有所青睐吗?还有图片也是采集其他网站上的,百度会抓取一些原创图片,如果你的网站再次使 用,就会导致百度认为你的网站是抄袭和伪原创的,这导致的后果不用小猫在这里啰嗦了吧?

  小猫总结:

  说了这么多,小猫只是要提醒站长小伙伴重视robots文件,这关系到自己网站的流量,网站要是没有流量了,那么站长小伙伴还做网站干嘛?这也关系到养家糊口嘛,嘿嘿,小猫说的有点远了,今天就白话到这吧,我们明天再见!

  本文由中国防水涂料网 http://www.chinafstl.com/小猫原创首发,转载请注明!

关于我们    公司新闻      帮助中心    解决方案    公司博客        Copyright © 2011-2020沪ICP备12003050号-10 沪公网安备 31011002001610号 版权所有

上海     徐州     南京     苏州     广州     青岛     深圳     郑州     哈尔滨     北京

智火旗下业务:智火财务智火建站智火营销智火电商

智火营销旗下业务站点:智火SEO智火SEM智火口碑智火互动

上海智火电子商务有限公司