搜索引擎spider整理
来源:程序员人生 发布时间:2013-11-28 15:17:37 阅读次数:2748次
百度 百度的spider的user agent都会包含 Baiduspider 字符串。
相关资料:http://www.baidu.com/search/spider.htm
google google的spider的user agent都会包含 Googlebot 字符串。
相关资料:http://www.google.com/bot.html
soso soso的spider的user agent都会包含 Sosospider 字符串
相关资料:http://help.soso.com/webspider.htm
sogou
sogou的spider的user agent都会包含 Sogou web spider 字符串
相关资料:http://www.sogou.com/docs/help/webmasters.htm#07
其他的也都差不多。。。可以自行查看下网站的access log。
如何通过php程序控制 spider 的行为?
通过 $_SERVER["HTTP_USER_AGENT"] 获取来访者的 user agent,然后判断是否含有相应的搜索引擎spider的特定字符串,再采取后续动作就可以了。
<?php $user_agent = $_SERVER["HTTP_USER_AGENT"];
if ( eregi("Googlebot",$user_agent) ) { // is google's spider access, you can do something for it~ } ?> |
生活不易,码农辛苦
如果您觉得本网站对您的学习有所帮助,可以手机扫描二维码进行捐赠