SEO实战密码-2.4.1 爬行和抓取- 高飞网

2.4.1 爬行和抓取

——常见搜索引擎蜘蛛名称

2016-07-15 23:25:27.0

下面列出常见的搜索引擎蜘蛛名称:


名称Agent
Google蜘蛛

Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 

Googlebot/2.1 (+http://www.googlebot.com/bot.html) 

Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot-Image/1.0

百度蜘蛛Baiduspider+(+http://www.baidu.com/search/spider.htm) 
百度图片Baiduspider-image
雅虎中国蜘蛛Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html) 
英文雅虎蜘蛛Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp") 
微软Bing蜘蛛
搜狗蜘蛛Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
搜搜蜘蛛Sosospider+(+http://help.soso.com/webspider.htm)
有道蜘蛛Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/;)