使用 Host sFlow 部署端口镜像功能实现腾讯云服务器流量旁路监控/数据分析

为了方便的对网站流量进行数据监控和分析,一般会用到交换机的端口镜像功能,将数据复制一份发送到监控平台或分析系统;而如果将网站部署到腾讯云平台,是否也可以将服务器流量进行复制转发呢?答案是可以的,实现的方法就是通过Host sFlow这个流量监控利器,下面以CentOS7为例,介绍其部署和验证方法:

  1. 部署架构

操作系统: CentOS 7.3

  1. 为Web服务器添加双网卡-弹性网卡 检查主机网卡配置和路由: ifconfig route -n
  2. 下载并安装Host sFlow

所有版本下载地址:http://www.sflow.net/downloads.php Github:https://github.com/sflow/host-sflow/releases

以CentOS7为例,运行:

sudo yum install hsflowd-2.0.11-1.x86_64.rpm #当前版本
sudo systemctl enable hsflowd # or chkconfig --add hsflowd /启用
sudo vi /etc/hsflowd.conf #编辑配置文件

配置文件示例:(详细配置说明见注意事项)

sflow {
    #采样比1/1
    sampling = 1
    #截取包大小为256
    headerBytes = 256
    #设置收集器地址和端口
    collector { ip=10.11.11.7 udpport=6343 }
    #设置采样的网卡
    pcap { dev = eth0 }
    }

启动采样:

sudo service hsflowd start
  1. 下载并安装收集分析器,以sFlowTrend为例(支持sFlow协议的软件都可以)

下载页面:http://www.inmon.com/products/sFlowTrend.php 或在CentOS服务器运行:

wget http://www.inmon.com/products/sFlowTrend/downloads/sFlowTrend-linux-6_6.rpm

安装并运行: yum install java -y #sFlowTrend依赖java环境 rpm -i sFlowTrend-linux-6_6.rpm #rpm包安装 systemctl status sflowtrend-server.service #查看状态 systemctl start sflowtrend-server.service #启动

使用web portal查看分析数据:

http://<hostname>:8087/sflowtrend #浏览器中打开http
https://<hostname>:8443/sflowtrend #浏览器中打开https

正常的话很快就可以看到以下内容:

注意事项:

  • 安全组放通相应监听和传输端口
  • windows等其他版本下载相应安装包即可
  • Host sFlow 详细配置说明 http://sflow.net/host-sflow-linux-config.php cat /etc/hsflowd.conf # hsflowd configuration file # http://sflow.net/host-sflow-linux-config.php
    sflow {
  # ======  Agent IP selection ======
  # Selection is automatic, unless:
  # (1) override with preferred CIDR:
  #   agent.cidr = 192.168.0.0/16
  # (2) Override with interface:
  #   agent = eth0

  # ====== Sampling/Polling/Collectors ======
  # EITHER: automatic (DNS SRV+TXT from _sflow._udp):
  #   DNS-SD { }
  # OR: manual:
  #   Counter Polling:
  #     polling = 30
  #   default sampling N:
  #     sampling = 400 采样比默认为1/400, 可设置分母为1,表示全采样
  sampling = 1
  #  截取包大小默认为256, 可以修改为1500(需重新编译), 尽量不要设置太大,否则会产生很多分片包,影响性能
  headerBytes = 256
  #   sampling N on interfaces with ifSpeed:
  #     sampling.100M = 100
  #     sampling.1G = 1000
  #     sampling.10G = 10000
  #     sampling.40G = 40000
  #   sampling N for apache, nginx:
  #     sampling.http = 50
  #   sampling N for application (requires json):
  #     sampling.app.myapp = 100
  #   collectors: 收集器地址,可修改为数据分析系统所在的ip地址,收集器可以设置多个
  collector { ip=10.11.11.7 udpport=6343 }
  #   add additional collectors here

  # ====== Local configuration ======
  # listen for JSON-encoded input:
  #   json { UDPport = 36343 }
  # PCAP+BPF packet-sampling:
  #   Bridge example:
  #     pcap { dev = docker0 }
  #   NIC example: 设置要采样的网卡
  pcap { dev = eth0 }
  #     pcap { dev = eth0 }
  #     pcap { dev = eth1 }
  #   All NICs example:
  #     pcap { speed=1G-1T }
  # NFLOG packet-sampling:
  #   nflog { group = 5  probability = 0.0025 }
  # ULOG packet-sampling:
  #   ulog { group = 1  probability = 0.0025 }
  # Nvidia NVML GPU monitoring:
  #   nvml { }
  # Xen hypervisor and VM monitoring:
  #   xen { }
  # Open vSwitch sFlow configuration:
  #   ovs { }
  # KVM (libvirt) hypervisor and VM monitoring:
  #   kvm { }
  # Docker container monitoring:
  #   docker { }
  # TCP round-trip-time/loss/jitter (requires pcap/nflog/ulog)
  #   tcp { }
  # monitoring of systemd cgroups
  #   systemd { }
  # DBUS agent
  #   dbus { }
  # Learn config from Arista EAPI
  #   eapi { }
}
  • 查看agent地址 grep agentIP /etc/hsflowd.auto #或指定agent使用网卡地址: agent = eth0

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

Stone.L@Tencent的专栏

1 篇文章1 人订阅

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏逢魔安全实验室

中间件安全-Tomcat安全测试概要

关注我们,掌握成员招募最新动态! Web安全中很重要的一个部分就是中间件的安全问题,而中间件的安全问题主要来源于两部分,一个是中间件本身由于设计缺...

3508
来自专栏北京马哥教育

Linux运维常见故障排查和处理的33个技巧汇总

作为linux运维,多多少少会碰见这样那样的问题或故障,从中总结经验,查找问题,汇总并分析故障的原因,这是一个Linux运维工程师良好的习惯。每一次技术的突破,...

3376
来自专栏ChaMd5安全团队

众测备忘手册

众测备忘手册 From ChaMd5安全团队核心成员 MoonFish 前言 最近一直在看bugbountyforum对赏金猎人采访的文章以及一些分享姿势的PP...

46310
来自专栏前端vue

5.登录验证,重定向及访问限制

这里登陆接口的服务端逻辑是在easy-mock中写的 账号:rty 密码:123,只是做一个简单的验证,可以直接调我的接口,也可以自己写验证密码的模拟逻辑,下...

1342
来自专栏Youngxj

记一次IP反查

2193
来自专栏康怀帅的专栏

CoreOS 配置工具 Ignition 官方示例

CoreOS 配置工具已由 Ignition 代替 cloud-config。 GitHub:https://github.com/coreos/ignitio...

4425
来自专栏北京马哥教育

解决八种Linux硬盘问题的技巧

#1 - 错误: 设备上无剩余空间 当你的类UNIX系统磁盘写满了时你会在屏幕上看到这样的信息。本例中,我运行fallocate命令然后我的系统就会提示磁盘空间...

5066
来自专栏漏斗社区

工具|nessus自定义扫描策略

我们是谁? nessus工具! 我们要做什么? 扫描漏洞! 什么时候扫? 天天扫! 序言 有些时候我们并不希望进行全面的扫描和检测,仅需要针对某些漏洞进行安全...

4636
来自专栏Python小屋

Python破解ZIP或RAR文件密码

基本原理在于Python标准库zipfile和扩展库unrar提供的解压缩方法extractall()可以指定密码,这样的话首先(手动或用程序)生成一个字典,然...

3777
来自专栏FreeBuf

深入解析新型加密货币挖矿恶意软件ZombieBoy

延续了2018年加密货币挖矿恶意软件的趋势,我发现了另一种类似于5月初发现的“MassMine”的挖矿恶意软件。我把这个家族称为ZombieBoy,因为它使用了...

642

扫码关注云+社区