网络空间搜索引擎全方位评测

从前有座山，山上有座庙，庙里有个老和尚和小和尚……这个简短无尽的儿童故事是很多人都知晓的，整个故事从开头就定义了空间的概念，让我们能够清楚的知道老和尚和小和尚在山上的庙里，网络空间同样如此。

如果说GPS绘制出了世界的地图，那么网络空间搜索引擎就是整个互联网的地图。

自从互联网诞生的那一刻，网络空间也由混沌之初快速扩张。

在互联网中各种网络设备物物相连，因此互联网基础上的延伸和扩展，用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，形成万物互联的物联网（IOT，Internet of things）。

通过网络空间搜索引擎，我们可以快速的知道，全世界大约有多少网络摄像头，有多少服务器，有多少服务器采用Apache等。

网络空间搜索引擎的作用就是将互联网上公开的网络资产收集和整理，以此方便人们进行查阅和利用。

最佳设计奖：Shodan

简介

全球最早的开放式网络空间应该非shodan莫属，也是目前最为知名的一个网络空间搜索引擎。

Shodan于2009年诞生，每个月Shodan都会在大约5亿个服务器上日夜不停地搜集信息，shodan主要是针对服务器、网络摄像头、交换机、路由器等网络基础设备做扫描。

特点

Shodan能够成为全球最为出色的网络空间搜索引擎并非浪得虚名。为了方便开发人员更好的接入shodan的API接口，shodan开发了11个代码库，分别为Python，Ruby，PHP，C#，Go，Haskell，Java，Node.js，Perl，PowerShell和Rust。

除了这11大代码库以外，shodan还开发了自己的浏览器插件。Shodan浏览器插件的作用不是很大，主要就是查看当前访问web服务器所开放的端口，仅此而已。

Shodan创建账号是免费的，但是可以免费查询到的信息少的可怜。如果要进一步查询更多的信息，你需要购买shodan的会员服务。Shodan的会员费用是49美元，值得庆幸的是一次付费即可享受终身会员服务。

除了个人版本的，shodan还推出了企业版和企业高级版的收费。Shodan上都是英文介绍，我这边列出一个中文表格，方便各位比较。

Shodan上还有一个功能叫做scanhub。主要是将你Nmap扫描的结果导入到scanhub里面，形成一个可视化数据。

但是这个功能是收费的，1GB/9美元/每月。个人感觉这个价格还是有些高了，并且功能并不是那么实用，还不如直接用d3.js开发更实用。

Shodan的images功能感觉非常地高大上，以图片的形式展示网络上开放的一些设备，除了远程桌面连接界面外，还有摄像头界面、工控控制界面等。

最屌炸天的设计还是shodan 3D功能，以一个3D球形展示搜索出来的网络设备。

Shodan还开发出了自己的CLI应用程序，用户可以通过shell命令来使用shodan。

除此之外，shodan还有一个Honeypot Or Not功能，可以查看该服务器是否为蜜罐。

小结

总的来说，shodan只是单纯的对IPV4的地址做一个扫描，扫描结果还是比较满意的。除了web服务器以外，还有交换机、路由器、网络摄像头、工控设备等扫描。而且对扫描数据的整理得也非常不错，比如images功能、3D功能等。

除此之外，还开发了Firefox和Chrome的插件，11大代码库和CLI程序，也使得后期开发更加简便高效。但是shodan主要只是针对IPV4进行扫描，却忽视了针对域名的扫描，如果能够加上域名扫描就更完美了。

最佳学术奖：Censys

简介

在全部的网络空间搜索引擎当中，censys绝对是一个另类，因为censys不包含任何收费项目，并且全部数据都可以免费下载。

Censys创建之初的目的主要是用作学术研究，并且将它定义为一个公益项目。该项目由密歇根大学和Rapid7公司共同合作完成。

特点

在介绍censys之前，请允许我先介绍一下Sonar项目。Rapid7创建了一个项目名为Sonar，主要是通过Zmap对全球的DNS服务器做扫描，比如收集转发DNS记录（ANY），反向DNS记录（PTR），SSL证书扫描（443端口），HTTP 80端口扫描和UDP扫描等。

而Rapid7又会将扫描到的数据汇总到scans.io。说起scans.io和Zmap，那么我又得说起J. Alex Halderman这个人。

J. Alex Halderman是密歇根大学的电脑科技教授和计算机工程师，他带领着他的团队开发了zmap扫描器，censys网络空间搜索引擎和scans.io存储库。

整个censys的项目主要是又sonar项目，Internet-Wide Scanning Research项目和The Meta Intelligence项目收集数据，然后汇总到scans.io存储库，最后再由censys对数据进行索引，以此方便人们查阅和研究。

市面上大部分的网络空间搜索引擎的数据下载是收费的，但是在censys上可以免费下载全部数据。

Censys除了基本的IPV4查询以外，还可以针对域名和证书进行查询。

以下是针对FreeBuf的一个扫描，会把和FreeBuf相关的各种web服务器列出来。

得到censys认证的用户还可以使用SQL语句对数据进行搜索。

同时还可以在线生成报告。

小结

总体来说，censys不仅仅只扫描了IPV4地址，还对域名和证书进行扫描。Censys的数据种类肯定是要比一般的网络空间搜索引擎还要多的。

但是针对数据可视化的功能就不如shodan了，并且censys也没有代码库，如果要对censys进行二次开发还是比较费力的。

最佳先锋奖：Zoomeye

简介

当初zoomeye上线后，很多人说zoomeye就是中国版本的shodan，实际上zoomeye和shodan还是有一些差别的。

Shodan主要是对设备指纹进行扫描，但是zoomeye除了设备指纹的扫描以外，还增加了对域名和web服务器的指纹扫描。而zoomeye也是中国首个半开放式的网络空间搜索引擎，其意义非同凡响。

特点

在搜索界面上，zoomeye就展示了和shodan的不同之处。不仅仅可以搜索主机设备，也可以对域名进行搜索。

根据zoomeye官网的介绍，zoomeye现在已经收集了7亿多台互联网设备的信息，1亿多个域名的信息。

而且zoomeye的高级搜索功能也非常实用，用户体验很不错。

同时，zoomeye的视角功能能够让用户快速查阅搜索设备在全球的分部情况。

Zoomeye还开放了海盗榜计划，每个用户可以根据自己对zoomeye的贡献值获得更多的访问权限。

如果要加入海盗榜，那么用户就需要参与到D计划当中。

虽然zoomeye针对普通用户是免费的，但是在商业版也有自己的收费项目，分别为ZoomEye 商业版，ZoomEye 数据服务和ZoomEye API收费版。

小结

Zoomeye的运行模式还是非常不错。通过商业收费获取利润，再通过D计划源源不断的获取新的数据。并且zoomeye的搜索速度还非常快，用户体验也十分良好。同时，zoomeye在海内外都有较强的知名度。

但是zoomeye相对于censys来说，域名的收集数量还有所欠缺，并且在针对设备指纹扫描的时候可以参考shodan，列出更多的可视化数据服务。

最佳潜力奖：Fofa

简介

FOFA是白帽汇推出的一款网络空间资产搜索引擎。它能够帮助用户迅速进行网络资产匹配、加快后续工作进程。例如进行漏洞影响范围分析、应用分布统计、应用流行度排名统计等。

特点

FOFA在其规则指定上也是一个另类。FOFA用户如果加入FOFA的会员，那么是可以赚取外快的。一旦加入FOFA的会员，并且提交的POC被通过，那么该会员可以收到一定的赏金。

同时fofa还面向企业和会员推出了PC平台客户端。企业可以在客户端上购买自己想要的POC，而会员也在客户端上查看自己写的POC。Fofa的客户端还有一个作用，就是可以三分钟根据POC扫遍全球的网络，查看哪些设备存在漏洞。

据说fofa在海内外布置了大量的扫描服务器，对全球的网络资产做扫描。具体是否属实我也不清楚，但是可以知晓的是fofa能够针对html正文进行代码级别的全文检索 ，并且数据量十分庞大，光是域名的收集就达到两亿多条。以下是针对freebuf的扫描情况。

针对扫描结果，fofa可以用全球视角，中国视角和端口饼状图来展示。

小结

虽然fofa开始的时间比较晚，但是在搜索结果，数据量和数据整理方面还是非常不错的，并且随着越来越多的会员加入，fofa在POC的积累上也会慢慢起色。fafo目前虽欠缺的不是技术，也不是数据持有量，而是需要一个时间的酝酿和市场的推广。

扩展思路

总体来说，个人认为中国的网络空间搜索引擎比国外的体验更加良好，数据量也更全面，但是还是存在一定进步的空间。以下是我提出网络空间搜索引擎的一些建设性意见。

数据获取

zoomeye采用的是用户和自己的扫描器两个方面来收集数据，shodan和fofa主要是依靠自己来进行扫描，而censys主要是通过学院和两家公司的项目来一起收集数据。

在收集数据的过程中，我们可否能够进行数据共享以此来查缺补漏？比如你fofa自己收集数据，但是你也可以下载censys的数据来做配对，查看自己缺了哪些数据。

同时，一个标准的网络空间搜索引擎应该有非常庞大的扫描节点，如果你在中国架设扫描节点，那么你是没有办法扫描到一些境外服务器和网站的，原因你懂的。扫描节点需要根据不同国家的政策来进行架设。

数据种类

一个标准的网络空间搜索引擎，应该包含HTML信息、端口信息、IP信息、域名信息、SSL证书信息、地理位置、服务器供应商信息等。总体来说，就是需要获取网络世界中全部开放出来的网络资产。

数据存储

在获得庞大的数据量后，存储是一个大问题。大部分企业主要是采用的NOSQL类型数据库来做存储，然后再采用ES来做索引，通过同步脚本来对数据进行同步。最后由WEB UI把ES的数据抽取出来。

如果用户访问量特别庞大的化，那么可以采用hadoop假设多个节点，以此来增加访问速度。

数据可视化

针对数据可视化操作，shodan做的是最优秀的。国内的网络空间搜索引擎可以参考shodan的做法。

数据利用

zoomeye有seebug漏洞平台做支撑，而fofa则有会员提交的POC做支撑。

获取到大量数据后，我们需要采用各种各样的POC和指纹信息来做扫描，因为POC和设备指纹信息的存储量就成为了这个网络空间搜索引擎利用率的关键。

数据误报

在采集数据的过程中，或多或少都会采集到一些错误的数据。比如把apache伪装成IIS。在采集数据的过程中，最好加入多重验算机制，以防出现数据误报的情况。

总结

除了以上的网络空间搜索引擎以外，还有很多我没有做介绍，比如傻蛋搜索、IVRE开源网络空间搜索引擎框架等。

网络空间搜索引擎就像是一把双刃剑，用在正处，可以快速和维护众多网络设备的漏洞；用在坏处，可以快速入侵全球存在漏洞的网络设备。

包括前段时间大量IOT设备被当作肉鸡进行DDOS攻击，那么攻击者主要是采用了网络空间搜索引擎来获得全球大量IOT设备的IP地址。同时还有前端时间大量Mongodb，ES等开放式数据库遭到骇客入侵，被删除了全部数据。

这些黑客组织是否又是采用网络空间搜索引擎来获得入侵目标的全部IP？不由得想起前段时间笔者闲着无聊，在网络空间搜索为验证的mongodb数据库。

结果，笔者拿到了泰国数个服务器供应商的全部客户登陆凭证，里面包含全部客户的用户名、邮箱、信用卡号、明文密码等。同时还查阅到了中国某云考勤系统大量员工数据，包括手机号、年龄等等。

还有某个省的监控服务器的备份数据，包含该省份大量进出流量的HTTP信息，比如朋友圈视频地址、后台登陆地址等等。而我所获得信息只是那网络空间中的冰山一角。

2008年上映的科幻片《鹰眼》（Eagle Eye），片中美国军方开发的鹰眼系统就是基于人工智能和物联网技术，通过遍布各地的网络终端设备监视、引导男主人公的行为，随意拨打电话、控制红绿灯乃至地铁等等所有物联网设备，用普通人作为棋子，设计了一个精密的杀局，美国大片的结尾从来不出人意料，超级英雄力挽狂澜拯救世界，但是整个过程对人工智能和物联网的呈现，在当前的技术条件下，正逐步成为现实。

如果网络空间用在正处，那么可以对某个地区的网络空间做安全评估，迅速挖掘到存在漏洞的服务器，并且对其进行修补。同时还可以开发网络威胁感知系统，实时监控客户服务器是否存在漏洞等。

同时，网络空间引擎不断的暴露这些漏洞，网络运营商不得不去面对这些问题，网络空间搜索引擎在推动网络安全前进的同时，也在让越来越多的人重视网络安全。