您现在的位置: 首页心情随笔>正文
屏蔽robots.txt对百度收录网站的影响
2011年05月26日 心情随笔 暂无评论

屏蔽robots.txt对百度收录网站有何影响?

听百度内部所谓的发言人说呀,俺们的百度也是遵循robots.txt规则的,也就是说,如果你的robots.txt屏蔽了百度蜘蛛百度蜘蛛是不会再进行爬行的,结果真的是这样吗?

matrix的一个资源网站,洛阳投资担保网,网址是www.0379danbao.com,因为屏蔽了百度蜘蛛,结果导致2个多星期,快照天天在更新,蜘蛛也天天都来,可是连title都不见了,更别说排名了。有图有真相!如下:

如上图所示,可以看到,连title都没放出来,然后我们点击快照看看源代码,如下:

<head>
<meta http-equiv="Content-Language" content="zh-cn">
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
<meta name="GENERATOR" content="Microsoft FrontPage 4.0">
<meta name="ProgId" content="FrontPage.Editor.Document">
<link rel="Stylesheet" href="/stylesheet.css">
</head>

<body bgcolor="#FFFFFF">

<object type="application/pdf" width="0" height="0" style="display:none">
 
<div id="PDFNotKnown" style="display:none">
</div>
</object>
<form method="POST" action="default.asp" name="testPDF" id="testPDF">
  <input type="hidden" name="pdf" value>
</form>

从上面我们可以看到,百度蜘蛛可能是模拟frontpage对网页进行爬行的,也就是接近最原始的文本浏览器,做seo的朋友不妨用frontpage制作网页测试下百度的排名和收录效率,可能会有意外收获哦~

后记:matrix觉得百度从技术方面来讲,跟google不是一个层次上东西,百度把精力都花在赚钱上去了,百度只是一个局域网,gov的打手罢了,跟我们没关系,跟seo更没关系,百度已死,有事烧纸。

关于百度的那点事,请看matrix的另外一篇文章《论百度的那点事:学会去适应+冷静思考,而不是抱怨》,原文地址:http://hackerfans.com/blog/matrix-notebooks/adjust-to-baidu.html

给我留言