搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也叫机器人（bot）。搜索引擎蜘蛛访问网站页面时类似于普通用户使用浏览器，蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库，搜索引擎为了提高爬行和抓取的速度，都使用多个蜘蛛分布爬行。 每次我们使用搜索引擎时，蜘蛛程序便会用其索引中的信息来查找和排名结果。

1、BaiduSpider（百度蜘蛛）

常见的百度蜘蛛有：Baiduspider 和 Baiduspider-image（抓取图片）。国内网站大多数流量均来自百度 百度还有其它几个蜘蛛： Baiduspider-video（抓取视频） Baiduspider-news（抓取新闻） Baiduspider-mobile（抓取wap） 百度蜘蛛介绍：http://www.baidu.com/search/spider.html ### 2、Googlebot（谷歌蜘蛛）

常见的谷歌蜘蛛有：Googlebot；还一个 Googlebot-Mobile ，不是很常见，看名字是应该是抓取 wap 页面的。世界第一大搜索引擎 谷歌蜘蛛链接：http://www.google.com/bot.html ### 3、360Spider（360蜘蛛）

一个十分“勤奋抓爬”的蜘蛛。 360蜘蛛IP：https://www.so.com/help/spider_ip.html ### 4、Sogou web spider（搜狗蜘蛛）

搜狗公司还有其它几个蜘蛛：Sogou News Spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider，常见的Sogou web spider。 参考百度的robots文件，搜狗蜘蛛名称可以用 Sogou 概括 搜狗蜘蛛爬虫：http://www.sogou.com/docs/help/webmasters.htm ### 5、Bingbot（必应蜘蛛）

必应是微软的搜索引擎，微软的IE浏览器和Edge浏览器会默认使用该搜索引擎，且占有率也还可以 必应蜘蛛爬虫：http://www.bing.com/bingbot.htm ### 6、Sosospider（SOSO蜘蛛）

腾讯已玩死，当前交给搜狗公司。 soso蜘蛛爬虫：http://help.soso.com/webspider.htm ### 7、Yahoo! Slurp China（雅虎中国）或 Yahoo! Slurp（雅虎英文）

雅虎蜘蛛爬虫： 雅虎中国：http://misc.yahoo.com.cn/help.html 雅虎英文：http://help.yahoo.com/help/us/ysearch/slurp ### 8、MSNBot，MSNot-media（MSN蜘蛛）

MSNBOT应该是 bing 搜索的蜘蛛，MSN和bin 一家的，可以只保留 Bingbot。 MSN蜘蛛爬虫：http://search.msn.com/msnbot.htm ### 9、YisouSpider（一搜蜘蛛/神马搜索）

神马搜索是UC和阿里2013年已经成立合资公司推出的移动搜索引擎。 该蜘蛛抓取频率还是很高的 ### 10、YoudaoBot（有道蜘蛛）：

网易有道的蜘蛛 ### 11、JikeSpider（即刻蜘蛛）：

“即刻搜索”是由人民搜索网络股份公司于2011年6月20日推出的通用搜索引擎平台 ### 12、jike即刻蜘蛛：

http://shoulu.jike.com/spider.html ### 13、EasouSpider（宜搜蜘蛛）：

宜搜是主要针对手机端的搜索引擎 ### 14、YYSpider：

据说是个人写的蜘蛛程序，指向的是 http://www.yunyun.com/spider.html，yunyun.com 目前不能访问，建议屏蔽之。 ### 15、ToutiaoSpider（头条号）：

今日头条的头条号蜘蛛 来源：http //web toutiao com/media_cooperation ### 16、MJ12bot：

英国的一个搜索引擎，官方解释为：成千上万的企业使用13种语言和60多个国家来绘制互联网地图，独立于基于消费者的搜索引擎。 来源：http://mj12bot.com/ ### 17、YandexBot：

国外的一个网站分析平台 详细介绍：https://webmaster.yandex.com 来源：http://yandex.com/bots ### 18、Rogerbot：Moz

网站的机器人。与 Moz 的官方机器人 DotBot 不同，Rogerbot 似乎不再是一个合法的机器人。 ### 19、DotBot：

嗯，看到这你应该懂了。 来源：http://www.opensiteexplorer.org/dotbot ### 20、exabot：

Exalead或Dassault Systemes网站的机器人。 ### 21、ia_archiver（Alexa蜘蛛）：

Alexa 的网站和网站审计爬虫。 ### 22、Teoma：

是美国 Ask Jeeves 搜索引擎的蜘蛛，在美国占 5% 的搜索份额。 ### 23、gigabot：

搜索到的是一个 3D 打印公司 ### 24、DOCOMO Sprider：

日本 NTT DoCoMo 旗下的搜索引擎蜘蛛 ### 25、AhrefsBot：

国外的一个网站监控工具 来源：http://ahrefs.com/robot/ ### 26、SemrushBot：

网站分析工具。 来源：http://www.semrush.com/bot.html