企业安全建设之路 | 端口扫描（上）
0×00、业务需求
由于工作关系，最近一年来都奔走在各大安全会议，无论是公开会议，例如:ISC互联网大会、freebuf互联网大会等、还是半公开的会议，例如某SRC组织的互联网金融会等。
互联网安全运维人员都在谈自己企业的运维平台是如何建立的。这里我简单用思维导图总结一下：
有一定研发能力的互联网安全团队都在建立自己的安全运管平台。我想这样做的目的是：
（1）半自动化或者全自动化安全运维规则，提高工作效率，降低人力成本。 （2）现有安全厂商提高的产品无法满足用户日益增长业务安全需求，业务架构变更。例如：日志管理部分，传统SIEM是无法满足 50万QPS Web日志处理能力，需要storm/spark架构处理。 （3）降低人员变动带来的业务安全的稳定性
当然这种安全投入是巨大的，而且需要持续发展才能摊平成本。
0×01、端口扫描需求分析
1、竞品获得需求：
传统扫描器 | 云扫描器 | 企业内网端口扫描器 | |
|---|---|---|---|
检查模式 | 并发 | 分布式/并发 | 并发 |
IP端口资产管理 | 不支持 | 支持 | 支持 |
IP端口资产变更告警 | 不支持 | 支持 | 支持 |
检查是否开放违规端口 | 不支持 | 支持 | 支持 |
2、安全经验获得需求
操作系统分布 | windows操作系统版本分布 |
|---|---|
web容器分布 | IIS版本分布 |
数据库端口对外开放 | mysql数据库版本分布 |
暴力破解协议分布 | OpenSSH版本分布 |
3、简单数据挖掘分析获得需求
在此之前做了一部分数据采集工作，表一ip_result.csv主要记录主机IP、域名、是否存活和操作系统类型，表二ports_result.csv主要记录了地址、端口、服务、服务详细描述等，通过对本测试数据集的分析，找到我们的业务需求。
首先要了解数据全貌，可以多个维度去分析数据，包括：可视化分析（pandas）、SQL方式分析、excel分析等。
（1）Pandas分析法：
在这之前想说一下为什么要可视化分析，因为，通过图形人们可以判断出趋势，举个小例子：
单纯的几组数字是看不出什么规律和趋势的，但是如果以矩阵的形式可视化后，大家对下一个点的出现就有趋势的判断了。
我们先了解一下我们的数据内容是什么，分别对两张表的数据导入到pandas中。
然后对各个有意思的字段或者字段组合聚类分析，
ip表：os port表：port、service、product&product_version、scripts_results（address字段由于是公网数据暂时忽略）
pandas分析方法，多字段之间Group by比较麻烦，所以建议使用SQL分析法。
（2）SQL分析法：
把csv数据导入到postgresql数据库，执行：
SELECT port,count(*) as hit from ports_resultGROUP BY port ORDER BY hit DESC SELECT service,count(*)as hit from ports_resultGROUP BY serviceORDER BY hit DESC SELECT product,product_version,count(*) as hit from ports_resultGROUP BY product,product_version ORDER BY hit DESC SELECT scripts_results,count(*)as hit from ports_resultGROUP BY scripts_resultsORDER BY hit DESC
然后通过正则表达式过滤掉一些无用数据，就可以得到我们想要的数据，那么，通过以上数据的简单的分析，我们对已有的安全经验和竞品数据有更深入的了解数据的本质。
（3）机器学习分析
当然可以用更高级的数据挖掘手段去分析，比如：聚类、分类、回归、降维、时间序列、文本挖掘。
首先要确定我们挖掘的目的，是确定我们安全报表的需求，也就是聚类的问题，那么如何实现呢？
在这里我们引入sklearn这个机器学习python库，它为我们选择机器学习算法提供了优化的路径：
我们port表中大约有10000多条数据，根据算法选择可以看出，
1、样本数据>50条，不需要获取更多的数据 2、如果是分类的问题，数据是否标记，对于我们的数据来说是没有的，那就进入clustering象限 3、分类类型是已知还是未知的呢？对于我们的数据当然是未知的，因为我们不知道如何分类，这需要算法告诉我们。 4、那么我们的数据样本>1w条，建议使用Kmeans。
我们需要使用的算法已经确定，下一步就是把数据经过清洗后导入算法库运算。这里要注意几个问题：
1、数据要做预处理，去除掉空值 2、把有意义的string项转化成数字类型，方便机器学习算法处理
多说无用，上代码：
最终机器学习分析的图：
经过对k值的调整，发现分4类是最靠谱的。也就是说，对服务的分析做4类足够，http、https、ssh、rdp。
0×02、功能设计
1、设计目的：
版本规划 | 设计功能 |
|---|---|
V1.0 | 通过端口扫描模块获得内网IP端口资产，资产变更告警，违规告警规则设置 实现内网扫描、外网扫描、行业扫描 |
V1.1 | 增加端口资产拓扑图 |
备注：当前版本只上线V1.0功能。
2、用户场景
用户场景 | 对应功能 |
|---|---|
用户通过网络层面了解企业内部网络存在的资产 | 内网IP资产和端口扫描 （1）对存活主机探测 l 主机扫描范围设置 l 主机扫描结果存储 （2） 对存活主机端口探测 l 对主机扫描端口范围设置 l 端口扫描结果存储 （3）IP端口资产变更告警 l 提供周期性扫描设置 l Email报警 （4） 违规告警规则设置 l 内置数据库对外服务检查报警 （5） report l 操作系统类型分布 l 对外服务类型分布 l web服务器类型分布 l 远程访问服务类型分布 |
用户通过网络层面了解企业对外网络资产 | 外网IP资产和端口扫描 （1）对外网存活主机探测 l 主机扫描范围设置 l 主机扫描结果存储 （2） 对外网存活主机端口探测 l 对主机扫描端口范围设置 l 端口扫描结果存储 （3）IP端口资产变更告警 l 提供周期性扫描设置 l Email报警 （4） 违规告警规则设置 l 内置数据库对外读物检查报警 （5） report l操作系统类型分布 l 对外服务类型分布 lWEB服务类型分布 l 远程访问服务类型分布 |
用户想了解一下自己在所在行业安全指数 | 对行业IP资产和端口扫描 （1）行业资产录入 （2） 行业报告 操作系统类型分布 web服务类型分布 远程访问服务类型分布 |
0×03、总结
本节先简单说到这里，后面会详细描述：详细设计、交互设计、前端实现、后端实现、测试联调、安装部署等环节。
本节重点讲述的是如果在需求分析阶段加入数据分析，帮助产品人员更好的设计产品。有不足之处还请各位大佬指教。