邮箱大数据分析平台与异常预警模型

上一期我们谈到通过WEB应用防火墙技术来防护邮箱系统自身的安全问题，由此解决了应用层防护不当导致的邮箱系统被黑客技术入侵的问题，本期我们介绍针对邮箱系统整体大数据审计分析平台的架构部署平台的技术架构以及邮件内容的异常分析。通过本期的介绍您将了解到邮箱大数据处理的全生命周期以及技术架构，另外，了解如何对邮箱业务异常进行基本的判断。

1

邮箱大数据分析处理过程

大数据中心重点实现企业网络环境安全类、管理类、流量数据以及资产、用户的基本数据的采集。数据采集层实现全流量审计引擎、日志采集引擎和资产、用户数据的采集接口。其中全流量审计引擎实现内网和互联网的镜像流量审计和采集，日志采集引擎实现主机、服务器以及安全设备的日志采集，资产、用户数据的采集接口实现企业网络资产和用户的数据的采集，并支持离线数据的导入功能，最终将采集到的数据上传至态势与预警平台，经过统一的ETL（清洗、转换和标准化）处理之后存入安全大数据中心。

02

邮箱大数据分析技术能力

建立安全大数据分析中心，并实现对采集引擎的状态监控和采集数据的审核、标准化、管理补齐、数据标签和集中式存储。采用分布式部署和考虑容灾备份，保障安全数据中心的存储空间和高可用性，并提高其他应用系统的数据接口，实现数据的共享能力。建立的态势与预警平台，实现对安全数据中心内存储的数据的分析应用，多维大数据关联分析，实现邮箱安全的要素分析以及异常行为快速发现的能力，并累计本地威胁情报。实现企业安全事件的自动发现和整体安全环境的评估能力。通过部署高级安全产品，实现企业邮箱进出口流量的深度分析能力，发现恶意文件、高级持续性攻击者等；通过引进安全公司的专业安全服务，实现邮箱安全检测等能力。扩充本地威胁情报，将恶意文件、高级持续攻击者的IP、安全专业服务提供的检测数据以及态势与预警平台发现的安全事件等数据，扩充至本地威胁情报，实现企业邮箱安全事件的自动发现和企业整体网络安全环境的评估能力。

03

邮箱大数据平台基础架构

图：邮箱系统大数据分析平台架构

采用组件式平台架构，实现了逻辑架构的分层，具体包括：数据源层、数据采集层、业务层和应用层。

数据源：流量数据、邮箱服务日志、网络设备日志、APT数据、安全设备日志、主机服务器日志、应用日志。

安全大数据中心：提供安全类和泛安全类的数据采集、归一和管理功能，并为上层应用提供数据服务。

大数据分析平台：基于数据中心的上层数据分析应用，提供业务安全和网络安全分析引擎，从海量数据中挖掘和量化‘安全风险事件以及系统安全特征和指标。

应用和可视化：网络安全态势集中化，态势综合分析视图以及大数据中心的检索视图等，并提供接口管理，包括数据采集接口和与总部数据中心的接口。

04

邮箱安全异常预警模型

邮箱安全日志监控和分析的最终目标是感知攻击类型的异常用户行为。预警内容包括已知规则攻击的行为和未知异常行为。其中，已知攻击行为的告警可以通过安全设备日志的联动分析得出，比如APT的沙箱；而未知异常行为的预警，则需要构建数据模型进行机器学习和大数据分析，并按照场景优化。项目的关键点将集中于正常行为的定义、统计学上异常分类的算法和异常量的可运营性。安全分析模型主要包含以下规则进行监测及预警：

频繁登陆失败：同一IP、客户端或者用户在一段时间内登录失败次数大于预定的阈值。

异地登录：同一IP、客户端或者用户在短时间内在两个距离远的地理位置登录。

邮件发送频率异常：根据IP、客户端和用户邮件发送频率行为建立正常基线，检测出新的邮件行为显著超出了正常的基线模型。

账号冒用监控：特别针对单位的重点账户，监测邮件的接受和发送行为是否有冒用账号的攻击行为

敏感内容监控：针对邮件的内容做敏感内容监控，包括账户、密码、钓鱼链接、公司机密信息等等。

- END -