漫谈大数据之下篇

前言

本系列从大数据的定义、发展历程、大数据VS小数据、大数据通用技术,以及安全行业大数据的角度,漫谈大数据方面的概念及在应用实践中的一些思考,同时分享大数据在流量分析和日志的简单实践,期望能带来对大数据一个更好的认知和应用。

此篇为下篇。前篇漫谈了大数据的定义、发展历程,中篇从大数据VS小数据、以及大数据通用技术简要的介绍对大数据方面的理解,此篇将结合流量监测分析和日志分析的业务场景,分享我们在大数据分析平台建设方面的应用实践。对于信息和网络安全来说,大数据发挥着举足轻重的作用,比如大数据隐私、舆情监测、高级持续威胁(APT)检测等。本篇从需求、架构等方面谈谈用大数据技术进行网络流量监测分析以及日志分析。

流量监测分析

随着互联网的发展,网络流量和会话规模呈现爆炸式增长,在这种情况下,如何实现对大规模流量的实时、复杂的处理,已成为网络流量监测分析面临的重要挑战。近年来大数据技术的发展,为网络监测分析提供了新思路。

上图主要采用Filebeat和ELK stack技术架构。通过对非结构化原始数据包Packets进行采集和处理,生成结构化的Netflow文件,并在采集服务器上部署轻量级的数据收集工具Filebeat来监视和实时发送到传输层。该架构提供了实现结构化网络流量Netflow流数据和非结构化的Packets包数据的收集、传输、存储和分析以及可视化展示的全套解决方案,可以比较好的解决大规模流量的存储、快速检索问题。当然,中间处理需要根据业务对平台进行优化和定制。举个例子,为有效避免单点故障问题,可在传输层设置Logstash以多节点协作的方式进行数据接收,并对数据存储配置多个目的主机。此外,根据业务需求,在传输过程中还可以直接对数据进行各类处理,包括过滤处理、数据分割处理、数据类型转换、IP地理信息等额外信息添加处理等,以更好的适配接入的大量Netflow数据。

我们使用4台普通服务器(单核、32G内存、500G硬盘)对当前系统进行了性能测试,当系统中存储有312699条Netflow流时,对IP、端口、包数等简单查询,平均耗时为0.007s;多个条件的符合查询,平均耗时为0.14s。基本可以满足网络安全监测中海量Netflow流实时查询分析需求。

日志分析

通过全面的日志分析获取设备故障、用户异常行为、网络运行状况等信息,能够弥补现有各类技术产品在威胁分析方面的不足,有利于及时处置网络安全事件和软硬件故障,保证服务的稳定性和安全性。日志是由众多用户与不同服务器产生,它具有着数据源多样性、海量性、传输不确定性等特点,而完整的日志是分析工作的保证。因此从日志的收集到日志分析是一项非常复杂的工作,它不仅要求系统具有较高的可靠性,还需要时效性。面对着每秒数MB/GB的网络请求,每天新增的海量日志,基于单机处理技术的传统日志分析系统,在存储和计算性能方面遇到了困难。同时基于Hadoop的海量离线分析系统,在日志分析的时效性方面也存在着极大的瓶颈。

上图是我们设计的日志分析大数据处理架构,相对于流量分析系统,主要变化有两个:增加了Kafka集群、实时分析上增加了Spark Streaming计算组件。通过从Kafka中实时抽取消息,进行消费,并基于滑动时间窗口进行实时计算。Spark Streaming提供两种Kafka消费数据方式直接去读取Kafka的数据,并做数据偏移量的检查,避免重复读取,同时保证数据的一致性。此外,在实时日志流上有每个应用处理函数,统计每一个请求日志类型的出现次数,并将前TOP20输出到应用层进行实时展示。

在类似的配置下,我们分析在特定的时间内请求日志数据,通过分析其响应时间来对系统的检索能力进行评价。可以看出,日志分析系统对141.5G的数据查询返回时间在800ms左右,能很好的满足系统的性能。

在这个大数据处理平台的具体实践过程中,有以下三个方面的经验可以分享:

(1)为了保证系统的稳定性与可靠性,保障Logstash、Kafka、ElasticSearch及Kibana的长期稳定运行,需用守护进程进行实时监控。利用daemontools工具对各个后台服务的运行情况进行监测,如果发现服务意外停止,daemontools工具可以将服务自启动,保证各进程的正常运行,从而实现服务的可靠性。

后记

诚惶诚恐的写完这个技术不技术,科普不科普的文章,写的战战兢兢的,就当是漫谈闲聊吧。如果能给少部分人带来点对大数据的更多的认识,也算是一件幸事。

感谢下面文献对这篇漫谈大数据的贡献。由于时间关系,没法一一求证,还有部分内容未列在参考文献里,在此笔者统一表示感谢。另外这个系列是整理和加了部分自己的观点,整理的内容权利原作者保留,个人的观点仅代表个人观点,[笑脸]。

参考文献

[1]https://en.wikipedia.org/wiki/Big_data.

[2] 张锋军. 大数据技术研究综述[J]. 通信技术, 2014, 47(11): 1240-1248.

[3] 刘智慧, 张泉灵. 大数据技术研究综述[J]. 浙江大学学报 (工学版), 2014, 48(6): 957-972.

[4]http://www.leiphone.com/news/201410/NgTsZw3yDjEbk9on.html.

[5]http://www.thebigdata.cn/JieJueFangAn/30821.html.

[6]http://www.thebigdata.cn/JieJueFangAn/30821.html.

[7]https://wenku.baidu.com/view/8c81d12ce55c3b3567ec102de2bd960591c6d905.html

[8]杨义先,钮心忻. 安全简史[M].北京:电子工业出版社,2017.

作者:大象无形

责编:何洁

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180920G0SCQT00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励