Linux内核实现多路镜像流量聚合和复制

作者 linxinsnow

应用场景

我们在进行安全性监控、测试的过程中，难免会遇到这样的问题：需要部署大量基于镜像流量的安全设备，如IPS，异常流量，数据库审计，流量分析等，可是交换机上可以做镜像流量的端口数量有限制，购买专业的设备又太昂贵。

本文就针对此种情况，从Linux内核模块对网络数据库包进行处理，解决上述问题。这里也感谢“白金PT”给予的帮助。

架构设计

内核模块的流程比较简单，转发配置从用户态提交给内核模块，如”eth1@eth2_eth1@eth3_eth1/eth4@eth5“，这段的配置是：

来自eth1的流量，复制给eth2和eth3

来自eth1和eth4的流量，聚合给eth5

MIRROR内核模块中，只需要实现参数读取，配置分析，网卡判断（源，目的）即可。

算法、代码实现

参数输入

这段代码的功能是，将前面提到的如“eth1@eth2_eth1@eth3_eth1/eth4@eth5“这样的参数，按照”_”进行拆分，分段提交给参数设置函数”option_setup”

参数设置

这里我们把得到的参数”eth0@eth1”进行进一步的拆分，分出了源网卡eth0，目的网卡eth1，在内核模块的全局变量中，有一个结构”__read_mostly __u8 ethout_bits[MAX_OUT] ={0};“用来存储每个网卡对应分发的网卡号，可以这样理解，如果服务器有8个网卡，那么每个网都会有一个8位的二进制数来标明它的转发，比如eth0复制到eth1，那么ethout_bits[0]就等于01000000，以此类推，如果我要把eth0复制到其他所有网卡，就会是01111111。

同时用一个全局的8字节变量，来存储哪些网卡是镜像流量口，防止多余的资源浪费。

__read_mostly__u8 ifindex_bits = 0;

Skb包复制和转发

当Linux内核收到一个skb结构的数据包时，判断这个数据包是不是在转发列表里，也就是网卡是不是镜像源。

接着我用了一个循环，来遍历存储的转发目的网口，如果匹配的话，就使用skb_clone函数将数据包复制一份，然后通过dev_queue_xmit函数直接发送出去。

最后清理skb_buff结构。

启动脚本

为了方便调试和快速提交参数，可以使用如下的shell脚本：

实测效果

编译，填充参数并执行

执行sh sh.sh

Dmesg输出

接着我用了一个循环，来遍历存储的转发目的网口，如果匹配的话，就使用skb_clone函数将数据包复制一份，然后通过dev_queue_xmit函数直接发送出去。

最后清理skb_buff结构。

镜像流量效果

这里可以看到流量统计由于网卡速率，时间差等，并不会100%一样，是正常的。

CPU占用

当流量已经达到400M左右的时候，CPU占用仍然比较低。

MIRROR.c源代码

http://linxinsnow.me/wp-content/uploads/2014/09/mirror.c