LEP 与负载均衡 : 以 PCDUINO 实际案例来使用LEP提高网络带宽

LEP(LINUX EASY PROFILING) 是Barry Song,Mac Xu,陈松等以及陈莉君老师团队正在致力于打造的一个开源项目,其宗旨在于便利Linux的程序员,以最快最直接的方式,定位到系统里面一些bug的源头,以及一些性能瓶颈的原因。

这篇文章的内容涉及用LEP(LINUX EASY PROFILING)监控PCDUINO 3nano电路板网络流量,观察负载均衡IDLE、IRQ和SoftIRQ,以及用RPS/RFS提高高网络负载情况的网络带宽。

LEP项目组欢迎开源爱好者加入和参与。关于项目的最新演讲与文章:

本案例演示LEP观察到负载不均衡情况下,PCDUINO电路板iperf测试网络带宽发挥不出来,并实施负载均衡后,看到PCDUINO网络带宽重大提高。

怎么烧录PCDUINO镜像

https://github.com/linuxep/images.git 项目下载pcduino-sd.img.gz,用gunzip解压后得到pcduino-sd.img,写入PCDUINO的SD卡(SD卡拔出后,以读卡器插入Linux电脑)。

sudo dd if=pcduino-sd.img of=/dev/sdx (x是你的SD卡在你电脑的路径)

实验方法

开机后PCDUINO电路板的IP地址自动已经配置为192.168.100.100,将电脑与PCDUIBO电路板网线直连,保证本机可以访问PCDUINO的IP地址。登陆电路板可以用ssh命令:

ssh root@192.168.100.100

无密码。 电路板上也集成了ARM版本的LEPD,位于/usr/bin/lepd,运行方法:

lepd --debug

LEPV浏览器端设置方法:

PCDUINO运行iperf服务器:

iperf -s

电脑运行iperf客户端(每10秒报一次网络带宽):

iperf -c 192.168.100.100 -P 40 -t 2000 -i 10 -l 1K |
grep SUM

均衡前

此时top里面监控到严重的负载不均衡现象:

如果不做任何工作,均衡前电脑上iperf上的周期report:

LEPV浏览器的显示(其中CPU1在严重地看热闹):

均衡后

在电路板运行负载均衡脚本:

root@pcduino3:/# balance.sh

该负载均衡脚本内容如下,是关于IRQ和SoftIRQ的配置:

echo 2 > /proc/irq/40/smp_affinity
echo 3 > /sys/class/net/eth0/queues/rx-0/rps_cpus
echo 4096 >/proc/sys/net/core/rps_sock_flow_entries
echo 4096 > /sys/class/net/eth0/queues/rx-0/rps_flow_cnt

此时电脑上iperf带宽报告:

此时top命令状态:

此时LEPV端浏览器显示

我们看到CPU1的IDLE线迅速下跳(不再看热闹了):

CPU1开始处理包:

稳定观察一段时间后(两个CPU在均衡处理网络):

再次恢复恶劣状态 在电路板运行负载不均衡脚本(就是默认状态):

root@pcduino3:/# no-balance.sh

电脑上iperf上的带宽再次严重下降:

均衡前后对比

IDLE

IRQ+SoftIRQ

iperf带宽

均衡前

CPU0 忙 CPU1闲

CPU0 忙 CPU1闲

30M

均衡后

CPU0 忙 CPU1忙

CPU0 忙 CPU1忙

90M

文章来源于微信公众号 Linuxer (ID:linuxdev)

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏美奔科技

web站点应用之路_wdcp备份容灾与升级(四)

前面我们讲到了站点部署,站点部署完成以后,其实很长一段时间都不会有什么大事,一般情况下是这样的。但是,现在还没完,根据最新的国家法律法规,我们还需要做备案和...

843
来自专栏FreeBuf

西部数据NAS设备被曝存在硬编码后门和未授权文件上传高危漏洞

近日,GulfTech公司安全研究员James Bercegay发现,西部数据(Western Digital)旗下多个MyCloud系列网络存储设备(WDMy...

2405
来自专栏FreeBuf

Apache已修复Apache Tomcat中的高危漏洞

近日,Apache软件基金会为Tomcat应用程序服务器推送了最新的安全更新,并修复了多个安全漏洞,其中包括一个DoS漏洞和一个信息泄露漏洞。

1225
来自专栏HBStream流媒体与音视频技术

C++实现RTMP协议发送H.264编码及AAC编码的音视频,摄像头直播

2985
来自专栏FreeBuf

挖洞经验 | 看我如何综合利用4个漏洞实现GitHub Enterprise 远程代码执行

大家好,距离上次漏洞披露已有半年之余,在这篇文章中,我将向大家展示如何通过4个漏洞完美实现GitHub Enterprise的RCE执行,该RCE实现方法与服务...

4106
来自专栏三杯水

纯开源产品打造初创公司运维体系

名称:CentOS 官网:https://www.centos.org/ 简介:CentOS(Community Enterprise Operating ...

842
来自专栏ThoughtWorks

聊一聊契约测试 | 洞见

如果从契约产生的阶段来说,现有资料表明最早要追溯到西周时期的《周恭王三年裘卫典田契》,将契约文字刻写在器皿上,就是为了使契文中规定的内容得到多方承认、信守,“万...

1005
来自专栏静晴轩

Http和Https的区别

今天大家一起聚于会议室听一个同事的分享,中途需要联网的时候,网络状态良好竟不能访问该网址,那些年也是接触过网络的我看了下懵了,旁边一大牛瞬间即解决了(将地址前的...

3344
来自专栏派森公园

HTTPS是如何工作的

大家在浏览网页的时候一定有这样的体验,有一些网站在网址那里会显示一个绿色的挂锁,并且网址中“https”相关的字样也是绿色的,聪明的朋友肯定会问,这些颜色和符号...

784
来自专栏HBStream流媒体与音视频技术

C++实现RTMP协议发送H.264编码及AAC编码的音视频,摄像头直播

  RTMP(Real Time Messaging Protocol)是专门用来传输音视频数据的流媒体协议,最初由Macromedia 公司创建,后来归Ado...

2145

扫码关注云+社区