老树新芽:Windump与大数据工具结合做流量统计分析

1.背景与需求介绍

抓取流量最流行的工具就是Wireshark,在Windows上Wireshark的GUI界面很酷,但对于在linux和mac用惯了tcpdump用户来说,用命令行的tcpdump更直接便捷,Windows上有没有类似tcpdump的抓包工具呢?答案是有的,就是windump,底层是基于winpcap库的命令行工具。

大体的背景是这样的,有Windows服务器运行了一个较定制化的闭源的认证服务,因为这是一个历史遗留下来的服务,并没完备的日志输出机制,无法从现有的日志统计出用户流量数据,在服务压力大到什么程度会出现问题,从现掌握的数据中无法更好的识别异常,统计出流量分布,估算出预警的峰值,也无法可视化当前服务的状态,随着外部的关联服务的增加,服务的压力不段加大。

根据目前的现状整理出以下需求:

1.1可在不入侵代码的前题下,量化监听流量。 1.2可将流量日志数据传到大数据平台,进行非实时的统计,找出预警的阀值。 1.3.用基于winpcap自主开发的监听工具代替windump,做实时的数据分析,阀值预警、可视化负载状态。

本文侧重点是用windump和大数据graylog配合,做到前2点,第3点后继做介绍。所以,下面开始我们要接触几个软件,但不会触及到太多代码问题,软件分别windump,sidercar,nxlog,而graylog的安装使用不做具体介绍。

windump相当于linux和mac上的tcpdump,有些场景在windows平台上使用windump要比wireshark方便一些,wireshark是GUI形式的,还支持lua插件,有机会我们介绍wireshark的lua插件,windump是一个分析tcp/udp/icmp等协议数据的一个好工具,简单介绍一下使用,后期我们就是使用windump.exe这个命令行工具,分析我们应用服务器,分析我们的服务器承受压力的极限,通过压力测试脚本,分析出阀值。

2.Windump下载与使用:

我们需要先面简单的介绍一下windump是如何使用的。

2.1. windump.exe -D

显示出所以的网卡设备。-D可以列出本机所有的网卡设备,包括VPN或是虚拟机建立的虚拟网卡。

2.2 windump.exe -i 1

监听指定网卡。-i 后面紧跟数字序号,表示本地网卡对应的序号,用 -D显示出来的序号。 -i 的后面跟的数字,就是本机网卡的序号名。

2.3 windump.exe -i 1 udp

监听指定协议数据。udp的字样是我们指定监控udp协议的流量

2.4\. windump.exe -i 1 udp port 9999

监听指定端口数据。指定端口后就只监听流过这个端口的流量数据。

2.5\. windump.exe -i 1 udp port 1234 and host192.168.0.3

监听指定主机的数据。指定IP只监听本机上和这个IP有关的数据包。

2.6.windump.exe -w cap.log -i 1 udp port 1234 and host 192.168.0.3

写流量记录到文件中。我们把监听的数据包存起来,便于以后分析。

2.7\. windump.exe -f cap.log

读取文本件的流量信息。-w存起来的数据不是明文的,需要用-f显示出正常的ACSII码,让人能看懂。

下载和官方文档:

https://www.winpcap.org/windump/docs/manual.htm

3.Sidercar与Nxlog大数据工具部署

3.1.去github上下载sidecar.

collector_sidecar_installer.exe

3.2.配置sidecar的配置文件。

3.3安装后,设置服务并启动。

3.4.安装nxlog。

3.5.配置nxlog.conf文件。

nxlog的配置文件存在一种配对关系,定义Input节、Output节、Route节,下面的配置文件只定义了一个Input,Output的路由对应关系,nxlog是模块化的设计,我们在in这个Input节中,用了im_file这个模块,告诉nxlog去那里读取本地日志文件,我们这定义日志文件放到c:\rlog\下的所有.log文件。

名out的Output节定义的是输出才用什么协议,并解析成什么形式,使用om_udp模块,将本的日志文件以udp传输协议,输出成syslog形式,到指定的服务器,syslog服务器或是graylog的数据接收端口。

3.6 nxlog服务使用

3.6.1安装服务

nxlog -i

3.6.2停止服务

nxlog -s

3.6.3启动监听

nxlog -f

看一下默认的位置nxlog的启动log。文件位置:C:\Program Files (x86)\nxlog\data

正常启动nxlog会显示下面的字样:

2017-08-16 17:02:15 INFO nxlog-ce-2.9.1716started

如果出现这样的字段就OK了,如有其它警告和提示,可能是配置文件写错了。

4.监控与流量分析

安装这些工具后,我们就可以来监控流量了,并在graylog端做简单的可视化分析。

4.1.运行windump,监听指定IP的测试流量。

windump.exe -i 1 udp port 9999 and 192.168.0.3

我们的测试脚本运行的IP是:192.168.0.3,所以我们要监控所有和这个IP有关的,本地9999通过的流量数据,我们要分析出源IP的总占比,这个用例IP基本就是只有一个IP的流量监控过了,如果把IP地址去掉,监控的就是本机所有均衡负载过的radius流量,我们可以从中分析出日常业务中,那些应用的服务的请求压力大,那些应用的请求总是被radius服务reject,是否存在异常的请求流量, 一般request和accept的量,达到多少时,服务的压力就过大了,需要报警邮件。

4.2.将windump输出的日志文件,重定向到指定文件目录。

windump.exe -i 1 udp port 9999 and192.168.0.3 > c:\rlog\cap.log

我们直接将日志文件通过管道生成到指定目录。

4.3.启运压力测试脚本,查看日志生成结果。

生成的流量日志被生成到了指定位置,并传到了graylog的ES集群,或是syslog服务器上。

4.4.停止监控后,查看graylog日志结果,做分析。

我们可以在Graylog看到,那台老的windows server的流量监控数据,被发现大数据ES集群中,之后我们就要对字段IP进行分词,也可能将大数据统计的流量状态通过REST API给前段,投到大屏幕上。

5.定制化流量收集代理

我们知道很多的抓包工具底层用的都是libpcap,在mac、windows、linux上都有支持,如果我们需要在流量的收集端,定制过滤流量,只过滤需要特定的流量,或是将流量通过syslog直接中继到其它的syslog服务器,这样意味着可以不用部署nxlog代理。下面是一个C语言写的例子,C的版本要比Python效率过高,并且可以在C语言中嵌入Lua,用lua来处理流量中过滤规则和发syslog更便利,下面抛砖引玉给出一个C语言实现的libpcap的演示代码,截取本地际80的端口数据,以下:

安装环境依赖:

源代码:

编译:

gcc test.c -lpcap -o test

以上程序的功能等同于:

tcpdump -i eth1 dst port 80 -l -s 0 -w- | strings

如果我们在主事件循环中加入Lua的调用即可过滤处理流理包,鉴于篇幅之后介绍。

6.结语

本文图片去掉了一些真实的测试IP信息。关于Graylog分词与数据可视统计与alert报警,基于Windpcap库的监听代码使用后在后期给出。一般情况下,我们都是直接查看某台机器的流量都是使用IDS相关设备,或是设备直接读出的Syslog,因为某些设备和系统的特殊环境,要想监控其流量直能采取直接深入的办法,比如些文提到的情况,这样我们就可以很灵活的将老的设备监控起来,将其服务状态数据接入到大数据平台集中管理起来,让老的设备软件,老树开新芽。

原文发布于微信公众号 - FreeBuf(freebuf)

原文发表时间:2017-08-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ThoughtWorks

大型项目程序配置管理演化之路|TW洞见

今日洞见 文章作者、图片来自ThoughtWorks:窦衍森。封面图片来自网络。 本文所有内容,包括文字、图片和音视频资料,版权均属ThoughtWorks公司...

34960
来自专栏北京马哥教育

Python运维中20个常用的库和模块

1、psutil是一个跨平台库(https://github.com/giampaolo/psutil) 能够实现获取系统运行的进程和系统利用率(内存,CPU,...

68570
来自专栏张戈的专栏

WordPress发布文章自动同步到新浪微博(带特色图片)

WordPress 发博客后自动同步到新浪微博,这是我从无主题博客看到的方法,一直沿用至今。感觉对博客宣传和提升“逼格”都有显著的作用: ? 一、老版代码 先来...

54970
来自专栏码神联盟

碎片化 | 第一阶段-05-Java环境变量配置技巧-视频

如清晰度低,可转PC网页观看高清版本: http://v.qq.com/x/page/y0565t5tzd6.html Java环境变量配置技巧 在开发过...

37790
来自专栏FreeBuf

看我如何利用开发人员所犯的小错误来盗取各种tokens

实际上,在日常的开发过程中,开发人员很有可能会犯各种各样貌似“无伤大雅”的小错误,单独一个这样的小错误可能并不能搞什么事情,但如果将这些错误串起来形成一个漏洞链...

27850
来自专栏程序你好

.Net桌面系统架构设计

14910
来自专栏CSDN技术头条

【问底】夏俊:深入网站服务端技术(一)——网站并发的问题

本文来自拥有十年IT从业经验、擅长网站架构设计、Web前端技术以及Java企业级开发的夏俊,此文也是《关于大型网站技术演进的思考》系列文章的最新出炉内容,首发于...

21680
来自专栏Java架构沉思录

缓存在高并发场景下的常见问题

当数据时效性要求很高时,需要保证缓存中的数据与数据库中的保持一致,而且需要保证缓存节点和副本中的数据也保持一致,不能出现差异现象。这就比较依赖缓存的过期和更新策...

15840
来自专栏Golang语言社区

Golang - 调度剖析【第一部分】

首先,Golang 调度器的设计和实现让我们的 Go 程序在多线程执行时效率更高,性能更好。这要归功于 Go 调度器与操作系统(OS)调度器的协同合作。不过在本...

15620
来自专栏程序猿DD

监控利器之 Prometheus

一直以来,我们会在项目中,使用 APM 去监控应用的状况,分析性能等,这些工具很有效,而且不侵入业务,不需要埋点。 然而,有些需求,是 APM 的监控满足不了...

2K80

扫码关注云+社区

领取腾讯云代金券