专栏首页FreeBufPython工具分析风险数据

Python工具分析风险数据

小安前言

随着网络安全信息数据大规模的增长,应用数据分析技术进行网络安全分析成为业界研究热点,小安在这次小讲堂中带大家用Python工具对风险数据作简单分析,主要是分析蜜罐日志数据,来看看一般大家都使用代理ip干了一些啥事。

大家可能会问小安啥是蜜罐,网上一些黑客或技术人员经常做一些"事情"的时候,需要隐藏自己身份,这样他们会使用代理IP来办事。而蜜罐(Honeypot)是一种新型的主动防御的安全技术,它是一个专门为了被攻击或入侵而设置的欺骗系统——既可以用于保护产品系统,又可用于搜集黑客信息,是一种配置灵活、形式多样的网络安全技术。

说得通俗一点就是提供大量代理IP,引诱一些不法分子来使用代理这些代理ip,从而搜集他们的信息。

数据分析工具介绍

工欲善其事,必先利其器,在此小安向大家介绍一些Python数据分析的“神兵利器“。

Python中著名的数据分析库Panda

Pandas库是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建,也是围绕着 Series 和 DataFrame 两个核心数据结构展开的,其中Series 和 DataFrame 分别对应于一维的序列和二维的表结构。

Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。这个库优点很多,简单易用,接口抽象得非常好,而且文档支持实在感人。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。

数据可视化采用Python上最常用的Matplotlib库

Matplotlib是一个Python的图形框架,也是Python最著名的绘图库,它提供了一整套和Matlab相似的命令API,十分适合交互式地进行制图。

我们有了这些“神兵利器“在手,下面小安将带大家用Python这些工具对蜜罐代理数据作一个走马观花式的分析介绍。

1 引入工具–加载数据分析包

启动IPython notebook,加载运行环境:

2 数据准备

俗话说: 巧妇难为无米之炊。小安分析的数据主要是用户使用代理IP访问日志记录信息,要分析的原始数据以CSV的形式存储。这里首先要介绍到pandas.read_csv这个常用的方法,它将数据读入DataFrame。

对的, 一行代码就可以将全部数据读到一个二维的表结构DataFrame变量,感觉很简单有木有啊!!!当然了用Pandas提供的IO工具你也可以将大文件分块读取,再此小安测试了一下性能,完整加载约21530000万条数据也大概只需要90秒左右,性能还是相当不错。

3 数据管窥

一般来讲,分析数据之前我们首先要对数据有一个大体上的了解,比如数据总量有多少,数据有哪些变量,数据变量的分布情况,数据重复情况,数据缺失情况,数据中异常值初步观测等等。下面小安带小伙伴们一起来管窥管窥这些数据。

使用shape方法查看数据行数及列数

Out: (21524530, 22) #这是有22个维度,共计21524530条数据记的DataFrame

使用head()方法默认查看前5行数据,另外还有tail()方法是默认查看后5行,当然可以输入参数来查看自定义行数

这里可以了解到我们数据记录有用户使用代理IP日期,代理header信息,代理访问域名,代理方法,源ip以及蜜罐节点信息等等。在此小安一定一定要告诉你,小安每次做数据分析时必定使用的方法–describe方法。pandas的describe()函数能对数据进行快速统计汇总:

对于数值类型数据,它会计算出每个变量:

总个数,平均值,最大值,最小值,标准差,50%分位数等等;

非数值类型数据,该方法会给出变量的:

非空值数量、unique数量(等同于数据库中distinct方法)、最大频数变量和最大频数。

由head()方法我们可以发现数据中包含了数值变量、非数值变量,我们首先可以利用dtypes方法查看DataFrame中各列的数据类型,用select_dtypes方法将数据按数据类型进行分类。然后,利用describe方法返回的统计值对数据有个初步的了解:

简单的观察上面变量每一维度统计结果,我们可以了解到大家获取代理数据的长度平均1670个字节左右。同时,也能发现字段scan_os_sub_fp,scan_scan_mode等存在空值等等信息。这样我们能对数据整体上有了一个大概了解。

4 数据清洗

由于源数据通常包含一些空值甚至空列,会影响数据分析的时间和效率,在预览了数据摘要后,需要对这些无效数据进行处理。

一般来说,移除一些空值数据可以使用dropna方法, 当你使用该方法后,检查时发现 dropna() 之后几乎移除了所有行的数据,一查Pandas用户手册,原来不加参数的情况下, dropna() 会移除所有包含空值的行。

如果你只想移除全部为空值的列,需要加上 axis 和 how 两个参数:

另外,也可以通过dropna的参数subset移除指定列为空的数据,和设置thresh值取移除每非None数据个数小于thresh的行。

移除proxy_host字段或srcip字段没有值的行

移除所有行字段中有值属性小于10的行

5 统计分析

再对数据中的一些信息有了初步了解过后,原始数据有22个变量。从分析目的出发,我将从原始数据中挑选出局部变量进行分析。这里就要给大家介绍pandas的数据切片方法loc。

loc([start_row_index:end_row_index,[‘timestampe’, ‘proxy_host’, ‘srcip’]])是pandas重要的切片方法,逗号前面是对行进行切片;逗号后的为列切片,也就是挑选要分析的变量。

如下,我这里选出日期,host和源IP字段——

首先让我们来看看蜜罐代理每日使用数据量,我们将数据按日统计,了解每日数据量PV,并将结果画出趋势图。

对数据列的丢弃,除无效值和需求规定之外,一些表自身的冗余列也需要在这个环节清理,比如说DataFrame中的index号、类型描述等,通过对这些数据的丢弃,从而生成新的数据,能使数据容量得到有效的缩减,进而提高计算效率。

由上图分析可知蜜罐代理使用量在6月5号,19-22号和25号这几天呈爆炸式增长。那么这几天数据有情况,不正常,具体是神马情况,不急,后面小安带大家一起来慢慢揪出来到底是那些人(源ip) 干了什么“坏事”。

进一步分析, 数据有异常后,再让我们来看看每天去重IP数据后量及其增长量。可以按天groupby后通过nunique()方法直接算出来每日去重IP数据量。

究竟大部分人(源ip)在干神马?干神马?干神马?让我们来看看被访问次数最多host的哪些,即同一个host关联的IP个数,为了方便我们只查看前10名热门host。

先选出host和ip字段,能过groupby方法来group 每个域名(host),再对每个域名的ip访问里unique统计。

再细细去看大家到底做了啥——查看日志数据发现原来在收集像二手车价格,工人招聘等等信息。从热门host来看,总得来说大家使用代理主要还是获取百度,qq,Google,Bing这类妇孺皆知网站的信息。

下面再让我们来看看是谁用代理IP“干事”最多,也就是看看谁的IP访问不同host的个数最多。

哦,发现目标IP为123..*.155的小伙子有大量访问记录, 进而查看日志,原来他在大量收集酒店信息。 好了,这样我们就大概能知道谁在干什么了,再让我们来看看他们使用proxy持续时长,谁在长时间里使用proxy。 代码如下——

这里不给大家细说代码了,只给出如下伪代码。

好了,到此我也就初略的知道那些人做什么,谁用代理时长最长等等问题额。取出ip = 80...38的用户使用代理ip访问数据日志,发现原来这个小伙子在长时间获取搜狐images。

蜜罐在全国各地部署多个节点,再让我们来看看每个源ip扫描蜜罐节点总个数,了解IP扫描节点覆盖率。结果见如下:

每个IP扫描的IP扫描节点总个数

由上述两表初步可知,一些结论:如源ip为182...205的用户长时间对蜜罐节点进行扫描,mark危险用户等等。

本文分享自微信公众号 - FreeBuf(freebuf),作者:岂安科技

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-01-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 数据安全怎么做:数据分类分级

    近期国家出台了《中华人民共和国数据安全法》草案篇,其中,从国家法律层面强调对数据要进行分级分类保护,那到底如何进行数据的分级分类保护呢?

    FB客服
  • GDPR重点条例分析

    2018年,欧盟发布实施了GDPR,一时间引起了轩然大波,先后一些科技巨头公司纷纷被控诉举报违反GDPR,遭到罚款处罚。本文主要是结合条例和日常工作,做一个简单...

    FB客服
  • 大数据安全保护思考

    大数据安全保护思考 随着大数据时代的来临,企业数据开始激增,各种数据在云端、移动设备、关系型数据库、大数据库平台、pc端、采集器端等多个位置分散。对数据安全来说...

    FB客服
  • 大数据是否开放,将决定你住的城市“聪不聪明”

    你住的城市称得上“智慧城市”吗?大数据的开放和智慧城市有怎样的关系?5月19日举办的数据侠实验室第14期活动,DT君带你一起走进第一财经技术与创新大会“开放数据...

    DT数据侠
  • 大数据平台开发公司有哪些?

    大数据、区块链可以说近几年互联网非常火爆的风口了,发展真可谓是蓬勃向上。围绕大数据进行的行业变革、创新已经不仅仅是趋势,而是真实在进行中。大数据技术对各行业的重...

    用户3392176
  • 如何用机器学习和知识图谱来实现商业智能化?

    7 月22-23日中国人工智能大会(CCAI 2017)在杭州国际会议中心盛大开幕。德国人工智能研究中心(DFKI)科技总监、北京人工智能技术中心(AITC)总...

    CSDN技术头条
  • CCAI 2017 | 德国DFKI科技总监Hans Uszkoreit:如何用机器学习和知识图谱来实现商业智能化?

    文/CSDN大琦 7 月22 - 23 日,由中国人工智能学会、阿里巴巴集团 & 蚂蚁金服主办,CSDN、中国科学院自动化研究所承办的第三届中国人工智能大会(C...

    AI科技大本营
  • Java程序员转型大数据可靠吗?附资源

    如今大数据发展的越来越成熟。各大企业纷纷成立大数据部门。尤其BAT等一线互联网公司每天处理的数据量都是TB级别。大数据部门已成为这些企业的核心部门,数据已成为企...

    用户1093975
  • 廖剑:机器学习平台对 AI 普适化的推动

    12月15日,由腾讯云主办的首届“腾讯云+社区开发者大会”在北京举行。本届大会以“新趋势•新技术•新应用”为主题,汇聚了超40位技术专家,共同探索人工智能、大数...

    云加社区技术沙龙
  • 微服务不是全部,只是特定领域的子集

    大家都在学SpringCloud,貌似学会了SC就牛逼哄哄,感觉不得了的样子。但微服务,在整个企业级应用中,只占了一小部分。微服务引入的问题比解决的问题还要多,...

    xjjdog

扫码关注云+社区

领取腾讯云代金券