你知道苹果的网络爬虫吗？它每天能抓取10亿个网页！

你肯定听说过苹果公司的iPhone、iPad或者iMac，但你听说过Applebot吗？

事实上，Applebot是苹果的网络爬虫，比如Siri和Spotlight建议等产品都使用了这种技术。

什么是网络爬虫呢？简单来说，它是一种用来自动浏览网络的机器人，主要用来编纂网络索引。爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。

苹果的网络爬虫首次亮相于2015年，当时有网站管理员看到来自IP地址17的网络爬虫，而这个IP地址块完全属于苹果。

随后，苹果承认了自己在使用网络爬虫。

知名iOS开发者Benjamin Mayo说，Applebot是由Go语言开发的，在iOS 9发布之前，Applebot完全依靠苹果办公室里的4台 Mac Pro运行，这4台电脑每天可以抓取接近10亿个网页。

有意思的是，Applebot刚推出的第一周，它几乎让苹果公司内部的DNS服务器断线，好在它被修改为自己的DNS解析和缓存，才缓解了压力。

问题是，Siri主要使用必应和Wolfram Alpha进行网络搜索，那么为什么苹果需要自己对网络进行索引呢？

外媒9to5mac认为，Applebot是一个补充现有第三方搜索引擎的工具，以确保Siri和Spotlight能提供最好的搜索结果。