您当前位置：首页 > web前端 > 网络优化 > 百度baiduspider是否支持User-agent:Slurp

百度baiduspider是否支持User-agent:Slurp

来源：程序员人生发布时间：2014-04-01 11:19:46 阅读次数：2076次

问题：

百度baiduspider是否支持User-agent:Slurp？

例如：搜搜的设置。

User-agent: Sosospider

Crawl-delay: 5

抓取时间和频率限制

回答：

您好，这个问题已经得到百度官方人员，LEE的回答：

可以在robots中的crawl-delay中设置，这个参数是baidu spider对网站访问频率的重要参考信息之一，但spider系统会根据网站规模、质量、更新频度等多方面信息综合计算得出最终的执行压力，因此并不保证严格遵守crawl-delay中的设置值。

生活不易，码农辛苦
如果您觉得本网站对您的学习有所帮助,可以手机扫描二维码进行捐赠
程序员人生

------分隔线----------------------------

上一篇 z-blog首页标题(title)与分类页相同的问题

下一篇 分享怎么利用知道平台做SEO外链的经验

分享到:

------分隔线----------------------------

为码而活

积分：4237

15粉丝

7关注

栏目热点