使用 Host sFlow 部署端口镜像功能实现腾讯云服务器流量旁路监控/数据分析

为了方便的对网站流量进行数据监控和分析,一般会用到交换机的端口镜像功能,将数据复制一份发送到监控平台或分析系统;而如果将网站部署到腾讯云平台,是否也可以将服务器流量进行复制转发呢?答案是可以的,实现的方法就是通过Host sFlow这个流量监控利器,下面以CentOS7为例,介绍其部署和验证方法:

  1. 部署架构

操作系统: CentOS 7.3

  1. 为Web服务器添加双网卡-弹性网卡 检查主机网卡配置和路由: ifconfig route -n
  2. 下载并安装Host sFlow

所有版本下载地址:http://www.sflow.net/downloads.php Github:https://github.com/sflow/host-sflow/releases

以CentOS7为例,运行:

sudo yum install hsflowd-2.0.11-1.x86_64.rpm #当前版本
sudo systemctl enable hsflowd # or chkconfig --add hsflowd /启用
sudo vi /etc/hsflowd.conf #编辑配置文件

配置文件示例:(详细配置说明见注意事项)

sflow {
    #采样比1/1
    sampling = 1
    #截取包大小为256
    headerBytes = 256
    #设置收集器地址和端口
    collector { ip=10.11.11.7 udpport=6343 }
    #设置采样的网卡
    pcap { dev = eth0 }
    }

启动采样:

sudo service hsflowd start
  1. 下载并安装收集分析器,以sFlowTrend为例(支持sFlow协议的软件都可以)

下载页面:http://www.inmon.com/products/sFlowTrend.php 或在CentOS服务器运行:

wget http://www.inmon.com/products/sFlowTrend/downloads/sFlowTrend-linux-6_6.rpm

安装并运行: yum install java -y #sFlowTrend依赖java环境 rpm -i sFlowTrend-linux-6_6.rpm #rpm包安装 systemctl status sflowtrend-server.service #查看状态 systemctl start sflowtrend-server.service #启动

使用web portal查看分析数据:

http://<hostname>:8087/sflowtrend #浏览器中打开http
https://<hostname>:8443/sflowtrend #浏览器中打开https

正常的话很快就可以看到以下内容:

注意事项:

  • 安全组放通相应监听和传输端口
  • windows等其他版本下载相应安装包即可
  • Host sFlow 详细配置说明 http://sflow.net/host-sflow-linux-config.php cat /etc/hsflowd.conf # hsflowd configuration file # http://sflow.net/host-sflow-linux-config.php
    sflow {
  # ======  Agent IP selection ======
  # Selection is automatic, unless:
  # (1) override with preferred CIDR:
  #   agent.cidr = 192.168.0.0/16
  # (2) Override with interface:
  #   agent = eth0

  # ====== Sampling/Polling/Collectors ======
  # EITHER: automatic (DNS SRV+TXT from _sflow._udp):
  #   DNS-SD { }
  # OR: manual:
  #   Counter Polling:
  #     polling = 30
  #   default sampling N:
  #     sampling = 400 采样比默认为1/400, 可设置分母为1,表示全采样
  sampling = 1
  #  截取包大小默认为256, 可以修改为1500(需重新编译), 尽量不要设置太大,否则会产生很多分片包,影响性能
  headerBytes = 256
  #   sampling N on interfaces with ifSpeed:
  #     sampling.100M = 100
  #     sampling.1G = 1000
  #     sampling.10G = 10000
  #     sampling.40G = 40000
  #   sampling N for apache, nginx:
  #     sampling.http = 50
  #   sampling N for application (requires json):
  #     sampling.app.myapp = 100
  #   collectors: 收集器地址,可修改为数据分析系统所在的ip地址,收集器可以设置多个
  collector { ip=10.11.11.7 udpport=6343 }
  #   add additional collectors here

  # ====== Local configuration ======
  # listen for JSON-encoded input:
  #   json { UDPport = 36343 }
  # PCAP+BPF packet-sampling:
  #   Bridge example:
  #     pcap { dev = docker0 }
  #   NIC example: 设置要采样的网卡
  pcap { dev = eth0 }
  #     pcap { dev = eth0 }
  #     pcap { dev = eth1 }
  #   All NICs example:
  #     pcap { speed=1G-1T }
  # NFLOG packet-sampling:
  #   nflog { group = 5  probability = 0.0025 }
  # ULOG packet-sampling:
  #   ulog { group = 1  probability = 0.0025 }
  # Nvidia NVML GPU monitoring:
  #   nvml { }
  # Xen hypervisor and VM monitoring:
  #   xen { }
  # Open vSwitch sFlow configuration:
  #   ovs { }
  # KVM (libvirt) hypervisor and VM monitoring:
  #   kvm { }
  # Docker container monitoring:
  #   docker { }
  # TCP round-trip-time/loss/jitter (requires pcap/nflog/ulog)
  #   tcp { }
  # monitoring of systemd cgroups
  #   systemd { }
  # DBUS agent
  #   dbus { }
  # Learn config from Arista EAPI
  #   eapi { }
}
  • 查看agent地址 grep agentIP /etc/hsflowd.auto #或指定agent使用网卡地址: agent = eth0

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

Stone.L@Tencent的专栏

1 篇文章1 人订阅

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张戈的专栏

MySQL主从、字典死锁、连接数的Python监控脚本

最近,公司的系统在天津增加了不少异地容灾,其中就有异地双主 MySQL。由于容灾环境一般只会在出现较大的网络故障或故障演习的时候用到,所以,容灾系统的可用性就只...

48370
来自专栏大魏分享(微信公众号:david-share)

用Ansible自动供应vmware虚拟机--构建数据中心一体化运维平台第二篇

1.1 简述 一直以来,打开邮箱被ticket糊一脸的事情时有发生。我一直在想,能不能以一种简单的方案(不花老板的钱)来供应(provisioning)虚拟机呢...

74420
来自专栏大白虾谈架构

GitHub 多人协作开发 三种方式:

30740
来自专栏coding

django2实战2.创建博客应用创建应用文章表的字段设计激活应用开启后台将post模型注册到后台自定义文章显示字段增加可选操作

上篇创建了一个项目,项目相当于站点,应用即是独立的功能模块。比如:淘宝是一个完整的网站,即是一个项目。而淘宝下的聚划算属于一个应用

18230
来自专栏哈雷彗星撞地球

Mac下Jenkins构建+蒲公英分发构建过程补充

因为持续构建完成后,有的公司可能不是用企业证书,需要借助蒲公英、fir.im等分发工具供测试人员安装,所以构建完成后自动上传蒲公英、fir.im也很重要。这里记...

8430
来自专栏腾讯云Elasticsearch Service

Elasticsearch底层系列之Shard Allocation机制

    Elasticsearch由一些Elasticsearch进程(Node)组成集群,用来存放索引(Index)。为了存放数据量很大的索引,Elastic...

2.3K30
来自专栏Felix的技术分享

《一个操作系统的实现》笔记(2)--保护模式

41080
来自专栏数据之美

使用 django-blog-zinnia 搭建个人博客

django-blog-zinnia 虽然小巧,但是具备了个人博客应用的全部基础功能,且具有很高的拓展性,并且开箱即用。以下是官方列出的一些特性: 评论 站...

35390
来自专栏Elasticsearch实验室

Elasticsearch底层系列之Shard Allocation机制

    Elasticsearch由一些Elasticsearch进程(Node)组成集群,用来存放索引(Index)。为了存放数据量很大的索引,Elastic...

45050
来自专栏高性能服务器开发

+从零实现一款12306刷票软件1.2

当然,这里需要说明一下的就是,由于全国的火车站点信息文件比较大,我们程序解析起来时间较长,加上火车站编码信息并不是经常变动,所以,我们我们没必要每次都下载这个s...

24120

扫码关注云+社区

领取腾讯云代金券