国内最全IT社区平台 联系我们 | 收藏本站
华晨云阿里云优惠2
您当前位置:首页 > web前端 > 网络优化 > 通过蜘蛛爬行记录分析网站被k原因

通过蜘蛛爬行记录分析网站被k原因

来源:程序员人生   发布时间:2013-11-17 03:10:14 阅读次数:2957次

简单的分析、简单的补漏洞、简单的坚持、成就卓越的排名。

网站首页被k怎么办?
网站k得只剩下首页怎么办?
为什么我觉得蜘蛛日志分析没有可以利用发挥的地方呢?

今天我们通过网站首页被k
来分析蜘蛛爬行日志并进行有效的策略实施。

案例 博百优十万个为什么视频教学站

首页被k时间:6月4号18:00-19:00左右

症状:首页关键词排名丢失、网站内容页面收录正常。

首页恢复日期:6月12日 上午 具体时间不详

首页被k原因分析:

外链速度增长过快、网站首页标题更改过于频繁

网站有过度优化痕迹,友情链接问题。
通过这些分析以后,我都逐一进行了修正,但是在百度大更新的时候,我的网站首页依然没有被放出,而其他一些同时间被k网站的首页陆续放出了。
进行日志分析发现,由于网站进行评论系统的升级,百度蜘蛛近期抓取很多评论中出现的重复页面。撰写robots.txt

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: */trackback
Disallow: /*?replytocom=
Disallow: /*?*
Disallow: /link
Disallow: */feed*
Disallow: */comment-page-*

-撰写源文件来自萧涵

等待百度更新,6月12日首页被放出,排名恢复至第五名,后出现连续跳动,最终下降至第二页。

案例 www.jiandanq.com

首页被k时间:6月19号11:00左右

症状:首页关键词排名丢失、网站内容页面收录正常。

首页恢复日期:6月29日 下午 具体时间不详

首页被k原因分析:

我觉得不是我自己站的问题 可能百度换算法 K掉了一部分站 也可能他抽风,其他同一时间被k的网站目前排名恢复正常,可能我友情链接都掉了,反应比较大。
通过日志文件发现百度蜘蛛抓取出现 304错误

有时候一篇,有时候几十篇,有时候还不更新,或许这就是被k的原因,

通过定时更新数据 304 还有,不过应该是正常了,少了很多了,以前一个200没有 。

可见,分析百度蜘蛛抓取文件的记录有多么重要。

出处:http://www.fplj.net/bobaiyou/720

生活不易,码农辛苦
如果您觉得本网站对您的学习有所帮助,可以手机扫描二维码进行捐赠
程序员人生
------分隔线----------------------------
分享到:
------分隔线----------------------------
关闭
程序员人生