专栏首页FreeBufLinux内核实现多路镜像流量聚合和复制

Linux内核实现多路镜像流量聚合和复制

作者 linxinsnow

应用场景

我们在进行安全性监控、测试的过程中,难免会遇到这样的问题:需要部署大量基于镜像流量的安全设备,如IPS,异常流量,数据库审计,流量分析等,可是交换机上可以做镜像流量的端口数量有限制,购买专业的设备又太昂贵。

本文就针对此种情况,从Linux内核模块对网络数据库包进行处理,解决上述问题。这里也感谢“白金PT”给予的帮助。

架构设计

内核模块的流程比较简单,转发配置从用户态提交给内核模块,如”eth1@eth2_eth1@eth3_eth1/eth4@eth5“,这段的配置是:

来自eth1的流量,复制给eth2和eth3

来自eth1和eth4的流量,聚合给eth5

MIRROR内核模块中,只需要实现参数读取,配置分析,网卡判断(源,目的)即可。

算法、代码实现

参数输入

这段代码的功能是,将前面提到的如“eth1@eth2_eth1@eth3_eth1/eth4@eth5“这样的参数,按照”_”进行拆分,分段提交给参数设置函数”option_setup”

参数设置

这里我们把得到的参数”eth0@eth1”进行进一步的拆分,分出了源网卡eth0,目的网卡eth1,在内核模块的全局变量中,有一个结构”__read_mostly __u8 ethout_bits[MAX_OUT] ={0};“用来存储每个网卡对应分发的网卡号,可以这样理解,如果服务器有8个网卡,那么每个网都会有一个8位的二进制数来标明它的转发,比如eth0复制到eth1,那么ethout_bits[0]就等于01000000,以此类推,如果我要把eth0复制到其他所有网卡,就会是01111111。

同时用一个全局的8字节变量,来存储哪些网卡是镜像流量口,防止多余的资源浪费。

__read_mostly__u8 ifindex_bits = 0;

Skb包复制和转发

当Linux内核收到一个skb结构的数据包时,判断这个数据包是不是在转发列表里,也就是网卡是不是镜像源。

接着我用了一个循环,来遍历存储的转发目的网口,如果匹配的话,就使用skb_clone函数将数据包复制一份,然后通过dev_queue_xmit函数直接发送出去。

最后清理skb_buff结构。

启动脚本

为了方便调试和快速提交参数,可以使用如下的shell脚本:

实测效果

编译,填充参数并执行

执行sh sh.sh

Dmesg输出

接着我用了一个循环,来遍历存储的转发目的网口,如果匹配的话,就使用skb_clone函数将数据包复制一份,然后通过dev_queue_xmit函数直接发送出去。

最后清理skb_buff结构。

镜像流量效果

这里可以看到流量统计由于网卡速率,时间差等,并不会100%一样,是正常的。

CPU占用

当流量已经达到400M左右的时候,CPU占用仍然比较低。

MIRROR.c源代码

http://linxinsnow.me/wp-content/uploads/2014/09/mirror.c

本文分享自微信公众号 - FreeBuf(freebuf)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2014-09-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python代码审计实战案例总结之CRLF和任意文件读取

    Python代码审计方法多种多样,但是总而言之是根据前人思路的迁移融合扩展而形成。目前Python代码审计思路,呈现分散和多样的趋势。Python微薄研发经验以...

    FB客服
  • BT5 + wireshark玩wifi捕获和中间人攻击

    前言:先说明一下,这个文章不是我写的,是一个老外(Deepanshu Kapoor)安全专家写的,我一开始就是看着玩,但整个看完被老外那个细心和耐心给打动了,整...

    FB客服
  • 经验分享 | XSS手工利用方式

    前言 在面对xss漏洞的时候,笔者通常会简单的找个xss平台,插入一段平台的xss代码,盗取个cookie,就自以为是的认为自己掌握了xss漏洞。这篇文章旨在抛...

    FB客服
  • vmware workstation 克隆后网卡eth0不能正常工作

    解决方法如下 修改/etc/udev/rules.d/70-persistent-net.rules 将eth0这行注释掉或者删除, 这里记载的还是克隆系统...

    三杯水Plus
  • 【个人整理】faster-RCNN的训练过程以及关键点总结

    前言:faster-RCNN是区域卷积神经网络(RCNN系列)的第三篇文章,是为了解决select search方法找寻region proposal速度太慢的...

    小草AI
  • 杀毒软件揭秘网络彩票骗局:背后竟是一条龙服务

    随着互联网的发展,民众的生活日益数字化,这也为不法分子提供了可趁之机。多年来,网络诈骗愈演愈烈,虚假购物、虚假兼职和虚假中奖等诈骗手段屡屡被媒体曝光。近段时间,...

    互联资讯
  • 一眼掌握态势、用数据指导防控,以下33个疫情监测、分析与发布方案为防疫工作提供关键保障

    目前,根据国家卫健委新闻通报,总体上中国本轮疫情流行高峰已经过去,新增发病数在持续下降。回顾过去三个月,大数据、人工智能与云计算技术在疫情溯源和监测、疫情态势分...

    机器之心
  • Flux

    其中dispatcher全局只有一个,store可以有多个。dispatcher只负责分发/传递action,action到具体state变化之间的映射由sto...

    ayqy贾杰
  • 华为诺亚方舟实验室主任李航:用漂亮的方式解决污浊的问题

    机器学习的春天 “他说自然语言处理是“泥臭い”(污浊)的,用漂亮的方法是解决不了的;我说我的结论正好相反,正因为自然语言处理是“泥臭い”的,才必须用漂亮的方法去...

    陆勤_数据人网
  • 快速搭建Aria2-Web管理界面

    刺_猬

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动