专栏首页python3基于TCPCopy的仿真压测方案

基于TCPCopy的仿真压测方案

一、tcpcopy工具介绍

tcpcopy 是一个分布式在线压力测试工具,可以将线上流量拷贝到测试机器,实时的模拟线上环境,达到在程序不上线的情况下实时承担线上流量的效果,尽早发现 bug,增加上线信心。

tcpcopy 的优势在于其实时性及真实性,除了少量的丢包,完全拷贝线上流量到测试机器,真实的模拟线上流量的变化规律。

二、tcpcopy原理

TCPCopy 分为三个角色:

  • Online Server(OS):上面要部署 TCPCopy,从数据链路层(pcap 接口)抓请求数据包,发包是从IP层发出去;
  • Test Server(TS):最新的架构调整把 intercept 的工作从 TS 中 offload 出来。TS 设置路由信息,把 被测应用 的需要被捕获的响应数据包信息路由到 AS;
  • Assistant Server(AS):这是一台独立的辅助服务器,原则上一定要用同网段的一台闲置服务器来充当辅助服务器。AS 在数据链路层截获到响应包,从中抽取出有用的信息,再返回给相应的 OS 上的 tcpcopy 进程。

数据传输流程图

简单解释一下工作原理:

  1. TCPcopy 从数据链路层 copy 端口请求,然后更改目的 ip 和目的端口。
  2. 将修改过的数据包传送给数据链路层,并且保持 tcp 连接请求。
  3. 通过数据链路层从 online server 发送到 test server。
  4. 在数据链路层解封装后到达 nginx 响应的服务端口。
  5. 等用户请求的数据返回结果后,回包走数据链路层。
  6. 通过数据链路层将返回的结果从 test server 发送到 assistant server。注:test server 只有一条默认路由指向 assistant server。
  7. 数据到达 assistant server 后被 intercept 进程截获。
  8. 过滤相关信息将请求状态发送给 online server 的 tcpcopy,关闭 tcp 连接。

三、操作步骤

Online Server 上的发包:

OS 默认使用 raw socket output 接口发包,此时发包命令如下:

tcpcopy -x 应用端口-Test Server:Test Server应用端口 -s Assistant Server

例如:

tcpcopy -x 80-192.168.0.246:80 -s 192.168.0.247 -d

此外,新架构还支持通过 pcap_inject(编译时候增加--enable-dlinject)来发包。

Test Server 上的响应包路由:

需要在 Test Server 上添加静态路由,确保被测试应用程序的响应包路由到辅助测试服务器,而不是回包给 Online Server。

route add -net 服务器所在网段 gw Assistant Server

例如:

route add -net 192.168.0.0 netmask 255.255.255.0 gw 192.168.0.247

Assistant Server 上的捕获响应包:

辅助服务器要确保没有开启路由模式 cat /proc/sys/net/ipv4/ip_forward,为0表示没有开启。 辅助服务器上的 intercept 进程通过 pcap 抓取测试机应用程序的响应包,将头部抽取后发送给 Online Server 上的 tcpcopy 进程,从而完成一次请求的复制。

intercept -i 网卡名 -F 'tcp and src port 应用端口' -d

 例如:

intercept -i ens160 -F 'tcp and src port 80' -d

-i 参数,还可以为any,表示所有网卡

四、tcpcopy搭建

环境说明

角色

ip

端口

Assistant Server

192.168.0.247

Online Server

192.168.0.245

80

Test Server

192.168.0.246

80

拓扑图

运行流程

  • tcpcopy运行在线上服务器上,tcpcopy会把线上服务器收到的流量,重放给测试服务器,重放的时候tcpcopy修改了IP数据包的源IP地址(譬如修改源地址为192.168.2.254)。所以,线上服务器和测试服务器应该部署相同的服务。
  • tcpcopy把源IP伪造成192.168.2.254的包发给了测试服务器,如此,测试服务器在处理完tcpcopy发过来的数据以后,会把这些数据包返回给客户端,即伪造的192.168.2.254。
  • 由于没有192.168.2.254这个地址,我们在测试服务器添加一条专门的路由,把发往192.168.2.0/24的数据包,都全部转交给辅助服务器。
  • 为了保证辅助服务器会接受这些本不属于自己的,部署在辅助服务器上的intercept就发挥作用了。辅助服务器还可以用来把客户端的请求返回给tcpcopy,但是默认只返回响应头部给tcpcopy。辅助服务器应该类似于黑洞。

intercept安装

Assistant Server 上的操作:

下载并安装 intercept 服务端;

# 安装编译环境
apt-get install -y build-essential
 
# 安装pcap依赖包
apt-get install -y libpcap-dev
 
# 下载软件包
# github地址: http://github.com/session-replay-tools/intercept
wget https://github.com/session-replay-tools/intercept/archive/1.0.0.tar.gz -o intercept-1.0.0.tar.gz
tar zxvf intercept-1.0.0.tar.gz -C /usr/src
cd /usr/src/intercept-1.0.0
./configure --prefix=/usr/local/intercept-1.0.0
make && make install
 
# 创建软连接
ln -s /usr/local/intercept-1.0.0/sbin/intercept /usr/bin/intercept
 
# 启动程序
intercept -i ens160 -F 'tcp and src port 80' -d

注意:必须先安装 intercept,否则会导致 tcpcopy 启动时,找不到 intercept

tcpcopy安装

Online Server 上的操作:

下载并安装 tcpcopy 客户端

# 安装编译环境
apt-get install -y build-essential
 
# 下载软件包
# github地址: http://github.com/session-replay-tools/tcpcopy
wget https://github.com/session-replay-tools/tcpcopy/archive/v1.1.0.tar.gz -o tcpcopy-1.1.0.tar.gz
tar zxvf tcpcopy-1.1.0.tar.gz -C /usr/src
cd /usr/src/tcpcopy-1.1.0
./configure --sbin-path=/usr/local/sbin
make && make install
 
# 创建软连接
ln -s /usr/local/tcpcopy-1.1.0/sbin/tcpcopy /usr/bin/tcpcopy
 
 
# 启动程序
tcpcopy -x 80-192.168.0.246:80 -s 192.168.0.247 -d

注意:192.168.0.246 是  Test Server IP地址,192.168.0.247 是 Assistant Server IP地址

Test Server 添加路由

Test Server 上的操作:

添加静态路由:

route add -net 192.168.0.0/24 gw 192.168.0.247

注意:192.168.2.0/24 是不存在的网络,是一条专门的路由,用于将数据包转发到Assistant Server 。

192.168.0.247 是 Assistant Server IP地址

测试效果

Online Server 和 Test Server 已经安装了nginx,如果没有,请使用以下命令安装:

apt-get install -y nginx

在客户端浏览器,打开 Online Server 的页面

http://192.168.0.245/

登录到 Online Server ,查看访问日志

tail -f /var/log/nginx/access.log
 
# 日志输出:
192.168.0.136 - - [27/Apr/2019:12:35:56 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"

登录到 Test Server ,查看访问日志

tail -f /var/log/nginx/access.log
 
 
# 日志输出:
192.168.2.254 - - [27/Apr/2019:12:35:56 +0800] "GET / HTTP/1.1" 200 396 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"

虽然访问的是  Online Server  ,但是 Test Server  能收到客户端的访问请求。说明 intercept 转发正常

本文参考链接:

https://www.cnblogs.com/zhengyun_ustc/p/tcpcopy.html

https://juejin.im/entry/5ac1922d6fb9a028bc2de3fb

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • MySQL的复制(5.0.x版)part

    这部分描述了在从复制服务器上你可以运用的选项.你可以指定这些选项或者在命令行,或者在一个option文件中.

    py3study
  • 速战速决---3小时快速搭建Exchan

            SQL Server 2014 Enterprise ISO光盘镜像

    py3study
  • Python mysql 爆破

    py3study
  • 如何解决MSSQL自增字段突然增大1000中的自增跳跃问题?

    昨天看服务器提示有补丁升级,就重启了一下服务器。可是今天用户反馈一个记录的Id跳了1000开始,心想这下是不是程序的bug,或者有数据丢失了?

    崔文远TroyCui
  • 3 游戏后端开发需要掌握的知识

    范蠡
  • 【安全通知】关于Windows 远程桌面服务蠕虫利用风险的高危预警

       近日,腾讯云安全中心监测到微软应急响应中心近日披露了Windows Server 2003, Windows Server 2008 R2 及 Windo...

    陌涛
  • 物联网用例 - 2016

    原文地址:https://dzone.com/articles/real-world-problems-solved-by-iot

    未来守护者
  • Go 学习笔记 第一弹 mac 开发环境搭建

    source ~/.zshrc 如果没有安装 zsh 请运行 source ~/.bash\_profile

    风清醉
  • 解读文件描述符

    最近由于机缘巧合,结合最近工作中遇到的一些问题,深入了解了文件描述符(File Descriptor,简称FD,以下使用 FD 称谓)。预计会有两到三篇关于 F...

    技术小黑屋
  • linux常用命令之压缩打包用法选项DEMO注意选项DEMO用法选项用法选项DEMO

    DF df – report file system disk space usage 查看文件系统的使用清空 用法 df [-hi] [path]选项-h h...

    用户1174983

扫码关注云+社区

领取腾讯云代金券