使用 Host sFlow 部署端口镜像功能实现腾讯云服务器流量旁路监控/数据分析

为了方便的对网站流量进行数据监控和分析,一般会用到交换机的端口镜像功能,将数据复制一份发送到监控平台或分析系统;而如果将网站部署到腾讯云平台,是否也可以将服务器流量进行复制转发呢?答案是可以的,实现的方法就是通过Host sFlow这个流量监控利器,下面以CentOS7为例,介绍其部署和验证方法:

  1. 部署架构

操作系统: CentOS 7.3

  1. 为Web服务器添加双网卡-弹性网卡 检查主机网卡配置和路由: ifconfig route -n
  2. 下载并安装Host sFlow

所有版本下载地址:http://www.sflow.net/downloads.php Github:https://github.com/sflow/host-sflow/releases

以CentOS7为例,运行:

sudo yum install hsflowd-2.0.11-1.x86_64.rpm #当前版本
sudo systemctl enable hsflowd # or chkconfig --add hsflowd /启用
sudo vi /etc/hsflowd.conf #编辑配置文件

配置文件示例:(详细配置说明见注意事项)

sflow {
    #采样比1/1
    sampling = 1
    #截取包大小为256
    headerBytes = 256
    #设置收集器地址和端口
    collector { ip=10.11.11.7 udpport=6343 }
    #设置采样的网卡
    pcap { dev = eth0 }
    }

启动采样:

sudo service hsflowd start
  1. 下载并安装收集分析器,以sFlowTrend为例(支持sFlow协议的软件都可以)

下载页面:http://www.inmon.com/products/sFlowTrend.php 或在CentOS服务器运行:

wget http://www.inmon.com/products/sFlowTrend/downloads/sFlowTrend-linux-6_6.rpm

安装并运行: yum install java -y #sFlowTrend依赖java环境 rpm -i sFlowTrend-linux-6_6.rpm #rpm包安装 systemctl status sflowtrend-server.service #查看状态 systemctl start sflowtrend-server.service #启动

使用web portal查看分析数据:

http://<hostname>:8087/sflowtrend #浏览器中打开http
https://<hostname>:8443/sflowtrend #浏览器中打开https

正常的话很快就可以看到以下内容:

注意事项:

  • 安全组放通相应监听和传输端口
  • windows等其他版本下载相应安装包即可
  • Host sFlow 详细配置说明 http://sflow.net/host-sflow-linux-config.php cat /etc/hsflowd.conf # hsflowd configuration file # http://sflow.net/host-sflow-linux-config.php
    sflow {
  # ======  Agent IP selection ======
  # Selection is automatic, unless:
  # (1) override with preferred CIDR:
  #   agent.cidr = 192.168.0.0/16
  # (2) Override with interface:
  #   agent = eth0

  # ====== Sampling/Polling/Collectors ======
  # EITHER: automatic (DNS SRV+TXT from _sflow._udp):
  #   DNS-SD { }
  # OR: manual:
  #   Counter Polling:
  #     polling = 30
  #   default sampling N:
  #     sampling = 400 采样比默认为1/400, 可设置分母为1,表示全采样
  sampling = 1
  #  截取包大小默认为256, 可以修改为1500(需重新编译), 尽量不要设置太大,否则会产生很多分片包,影响性能
  headerBytes = 256
  #   sampling N on interfaces with ifSpeed:
  #     sampling.100M = 100
  #     sampling.1G = 1000
  #     sampling.10G = 10000
  #     sampling.40G = 40000
  #   sampling N for apache, nginx:
  #     sampling.http = 50
  #   sampling N for application (requires json):
  #     sampling.app.myapp = 100
  #   collectors: 收集器地址,可修改为数据分析系统所在的ip地址,收集器可以设置多个
  collector { ip=10.11.11.7 udpport=6343 }
  #   add additional collectors here

  # ====== Local configuration ======
  # listen for JSON-encoded input:
  #   json { UDPport = 36343 }
  # PCAP+BPF packet-sampling:
  #   Bridge example:
  #     pcap { dev = docker0 }
  #   NIC example: 设置要采样的网卡
  pcap { dev = eth0 }
  #     pcap { dev = eth0 }
  #     pcap { dev = eth1 }
  #   All NICs example:
  #     pcap { speed=1G-1T }
  # NFLOG packet-sampling:
  #   nflog { group = 5  probability = 0.0025 }
  # ULOG packet-sampling:
  #   ulog { group = 1  probability = 0.0025 }
  # Nvidia NVML GPU monitoring:
  #   nvml { }
  # Xen hypervisor and VM monitoring:
  #   xen { }
  # Open vSwitch sFlow configuration:
  #   ovs { }
  # KVM (libvirt) hypervisor and VM monitoring:
  #   kvm { }
  # Docker container monitoring:
  #   docker { }
  # TCP round-trip-time/loss/jitter (requires pcap/nflog/ulog)
  #   tcp { }
  # monitoring of systemd cgroups
  #   systemd { }
  # DBUS agent
  #   dbus { }
  # Learn config from Arista EAPI
  #   eapi { }
}
  • 查看agent地址 grep agentIP /etc/hsflowd.auto #或指定agent使用网卡地址: agent = eth0

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

Stone.L@Tencent的专栏

1 篇文章1 人订阅

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏我的博客

虚拟机配置端口映射

今天打算建立一个公共的虚拟服务器,班级内所有同学可以使用用ssh连接,共享文件。然后可以通过web方式下载共享的文件。配置方法如下: 先安装虚拟机(可以查看我博...

2676
来自专栏运维技术迷

python实现Tab自动补全功能

{大神请忽略} ? 默认情况下python命令行下是不支持命令补全功能的,用的时候总是得百度,所以索性在博客简单记录一下,方便下次使用. 一、创建tab....

2986
来自专栏有困难要上,没有困难创造困难也要上!

使用Sinopia搭建私有npm仓库

32711
来自专栏菩提树下的杨过

jupyter notebook 在mac OS上的安装

一、关于Anaconda python中有很多包,类似于java中的jar包,java中用maven、gradle来管理依赖的jar包,而在python中类似...

2125
来自专栏L宝宝聊IT

LAMP平台的搭建及应用

1233
来自专栏云计算教程系列

如何在CentOS上创建Sudo用户[快速入门]

该sudo命令提供了一种机制,用于向普通用户授予通常仅对root用户可用的管理员权限。本教程将向您展示在CentOS上创建具有sudo访问权限的新用户的最简单方...

650
来自专栏木头编程 - moTzxx

PHP 开发学习[2] —— wamp memcache 的安装与扩展(Windows 64)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011415782/article/de...

754
来自专栏xingoo, 一个梦想做发明家的程序员

程序猿的日常——工作中常用的Shell脚本

如果目录下的文件很多,无法直接rm -rf,那么可以寻找一些匹配模型,分批删除。比如文件下面有很多的文件:

772
来自专栏Ken的杂谈

Windows下Nginx安装与配置教程

Nginx是一个开源的Web服务器,同时Nginx也提供了反向代理和负载均衡的功能。 Nginx通常作为负载均衡器暴露在外网接受用户请求,同时也使用其反向代理的...

1011
来自专栏小詹同学

Python入门(一)——windows系统下python的安装

跟着北京某理工大学的某导师学习和研究人脸识别技术已经有一段时间了,在用C++后,在考虑用另一种语言python进行人脸识别的研究。那么要做的第一件事就是在电...

3345

扫码关注云+社区