屏蔽robots.txt对百度收录网站的影响

屏蔽robots.txt对百度收录网站有何影响? 听百度内部所谓的发言人说呀,俺们的百度也是遵循robots.txt规则的,也就是说,如果你的robots.txt屏蔽了百度蜘蛛,百度蜘蛛是不会再进行爬行的,结果真的是这样吗? matrix的一个资源网站,洛阳投资担保网,网址是www.0379danbao.com,因为屏蔽了百度蜘蛛,结果导致2个多星期,快照天天在更新,蜘蛛也天天都来,可是连title都不见了,更别说排名了。有图有真相!如下: 如上图所示,可以看到,连title都没放出来,然后我们点击快照看看源代码,如下: <head> <meta http-equiv="Content-Language" content="zh-cn"> <meta http-equiv="Content-Type" content="text/html; charset=gb2312"> <meta name="GENERATOR" content="Microsoft FrontPage 4.0"> <meta name="ProgId" content="FrontPage.Editor.Document"> <link rel="Stylesheet" href="/stylesheet.css"> </head> <body bgcolor="#FFFFFF"> <object type="application/pdf" width="0" height="0" style="display:none">   <div id="PDFNotKnown" style="display:none"> </div> </object> <form method="POST" action="default.asp" name="testPDF" id="testPDF">   <input type="hidden" name="pdf" value> </form> 从上面我们可以看到,百度蜘蛛可能是模拟frontpage对网页进行爬行的,也就是接近最原始的文本浏览器,做seo的朋友不妨用frontpage制作网页测试下百度的排名和收录效率,可能会有意外收获哦~ 后记:matrix觉得百度从技术方面来讲,跟google不是一个层次上东西,百度把精力都花在赚钱上去了,百度只是一个局域网,gov的打手罢了,跟我们没关系,跟seo更没关系,百度已死,有事烧纸。 关于百度的那点事,请看matrix的另外一篇文章《论百度的那点事:学会去适应+冷静思考,而不是抱怨》,原文地址:http://hackerfans.com/blog/matrix-notebooks/adjust-to-baidu.html

除非特别注明,本站所有文字均为原创文章,作者:matrix