工欲善其事,必先利其器。系统的解决大数据安全,必须建设一套符合大数据平台自身特点的事后安全审计体系,以统筹解决安全威胁,并进行系统性的安全威胁消除。通过借鉴国内外大数据平台安全体系建设经验,参考业界前沿的安全技术手段和经验,我们提出了数据安全审计层进建设体系。该体系以组织架构为基础,通过组织架构的信息需求,建立大数据安全审计框架。该安全审计框架自底向上依次建设“内容计算层、要点审计层、目标分析层”,并在建设过程中引入AI技术,构建基于AI技术的数据安全审计平台。
引入聚类算法并进行结果复合,对数据源进行清洗修正,提升了数据源的精确度。通过利用两种算法的特性,所取到的结果数据有一定的差异,在K-Means贴合行为分类的基础上,DBSCAN的噪点数据更加符合风险用户特性,因此采用两者结果集,使用取二者交集的方法获得复合需要的结果数据。基于聚类算法与故障树算法相结合,依据ISO/IEC 27002 标准的层次结构建立故障树,过程如下。
将上述两次独立初筛结果叠加,通过二次复合算法得到需要的结果集。
确定故障树的底事件,即故障树底层各因素的选择,参考ISO/IEC 27002标准中的控制措施选取,并且各底事件之间不存在交叉,满足故障树分析法的要求。 故障树建立后,通过信息熵风险分析算法计算目标系统的总体风险。
运用人工智能(AI)技术,通过事件扫描,动态推理、启发分析,构建行为探测引擎。实现了行为审计与人工智能技术的结合。AI探测引擎工作流程包括:模型设计流程、ETL作业流程、数据质量监控流程。AI探测引擎保障机制包括:时间窗设计、ETL调度流程。
探测引擎先对审计事件进行综合扫描,形成特征审计事件,而后运用动态推理机对特征事件进行综合解析,接着由启发式分析机对解析结果做出判断,预测用户接下来的行为,并在交互式页面进行提示。
为保障探测引擎的精准运行,设计了模型设计、ETL作业及调度、数据质量把控、时间窗等关键保障流程,通过对数据运行、模型运行、质量保障、运行调度进行统一监控与统一调度,实现了探测引擎的安全稳定持续可靠运行。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。