榨干python性能之服务优化

初看这个标题,相信很多同学都笑了,python有性能可言么,呵呵哒...确实哦,python其实就是为了快速开发应用而出生的,虽然python的服务都以性能低而闻名全世界,但是总该有优化的地方吧,呵呵哒....

这不,这两天本作者就碰见了这样一个问题,首先自我介绍下,我是干嘛的,肯定是屌丝程序员了,这个猜都不用猜,要不然也不会蛋疼的写这篇文章了,我们组是基础开发组,就是专门开发一些剥离业务的组件让其他部门去用,比如业务监控,业务报警,服务数据采集等等一堆搬砖的活.好了,废话不多说了,估计看到这的也都看烦了...你们真的烦了么

这样滴,我们这有个收集业务数据的组件简称M好啦,首先他要在业务服务器上建个udpserver,然后就静静的等业务的客户端上报数据过来,数据格式是key-value形式的,然而就在最近几天,有人在给业务机器做压测的时候,发现一个问题,随着并发的增加,这个M组件的cpu使用率也在不断上升,擦,这下服务器不愿意了,开始疯狂报警,然后做压测的那个人就找我这来了,巴拉巴拉一堆,意思就是我给业务做压测,你收集数据的组件飚个毛啊......

然而我是那么容易被打倒的么,就解释说当然啊,你在给业务压测的时候,同时你的client也在请求我啊,相当于我的并发量也在上升啊,不飚才怪呢,好吧,说归说,抱着工匠精神,开始找问题吧...

这个M组件是用python写的多线程的udpserver,经本人测试,当并发达到2000的时候,cpu就100%左右了,其实udp相比tcp而言性能已经很高了,不过这个并发还是有点感人啊,改成多进程也试了下,cpu占用还是70%左右,毕竟多进程适用计算密集型的,于是就想到了协程,协程像是一种在程序级别来模拟系统级别 的进程,由于是单进程,并且少了上下文切换,于是相对来说系统消耗很少,而网上的各种测试也表明,协程确实拥有惊人的速度。并且在实现过程中,协程可以 用以前同步思路的写法,而运行起来确是异步的,挺有意思。

听说python有个模块叫做eventlet很强大,eventlet的核心是协程(也叫做green thread)。协程的好处是没有线程开销来的大(比如切换代价很小)。同时协程由于调度都由开发者自己决定,所以对lock的需求就很低了

上面是一个uds(unix domian socket)的例子,这里也是通过一个pool限制资源的使用。当每个请求来的时候通过spawn_n方法把对这个请求的handle方法放到独立的协程中去处理。而handle中的recv这些方法都是被绿化过的,所以如果读取不到数据这些方法就会把cpu时间交出来给别的协程使用,eventlet还有一个衍生品gevent,先看看例子:

上面是官方的例子,gevent是一个基于libev的python并发框架,以微线程greenlet为核心,使用了epoll事件监听机制以及诸多其他优化而变得高效.而且其中有个monkey类, 将现有基于Python线程直接转化为greenlet(类似于打patch)。

我自己测试了下,无论是eventlet写的uds还是gevent写的udpserver 并发达到2000时,cpu大概占用到30%左右,性能比之前降了2/3,效果还是很显著的,不过这个还是没有达到理想效果,后期准备尝试下日志的方式,应该会比现在更省资源,就怕磁盘受不了,更何况我们用的还是所谓的云主机~

参考链接:

https://github.com/gevent/gevent

http://xlambda.com/gevent-tutorial/

https://github.com/eventlet/eventlet/tree/master/examples

作者:浩海星辰 链接:http://www.jianshu.com/p/c0e3271ac887


原文发布于微信公众号 - 马哥Linux运维(magedu-Linux)

原文发表时间:2017-12-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杨建荣的学习笔记

防火墙开通的自动化尝试和感悟

对于一个从零到一的系统或者平台,你会有几十次几百次的调试,为的是能让系统/平台真正跑起来,用起来。我想这背后需要的坚持真是百般煎熬,一方面希望能够像建造...

1221
来自专栏cmazxiaoma的架构师之路

【分布式架构之旅-理论篇】为什么需要高质量API网关接口

1913
来自专栏企鹅号快讯

新人分享系列-蘑菇街主搜Dump拼装服务演化

花名:长文 部门:算法中心搜索业务组 入职时间:2016年 主要从事蘑菇街搜索引擎实时增量商品信息补全以及搜索业务接入 一、引言 搜索引擎作为电商平台的主要入口...

39914
来自专栏北京马哥教育

实战:基于Python构建运维自动化平台

导语: 今天与大家一起探讨如何基于Python构建一个可扩展的运维自动化平台,也希望能与大家一起交流,共同成长。 此次分享将通过介绍OMServer、OMana...

9615
来自专栏Fundebug

Redis的KEYS命令引起宕机事件

最近的互联网线上事故发生比较频繁,2018年9月19号顺丰发生了一起线上删库事件,在这里就不介绍了。

4995
来自专栏编程

榨干python性能之服务优化

Tips: 初看这个标题,相信很多同学都笑了,python有性能可言么,呵呵哒...确实哦,python其实就是为了快速开发应用而出生的,虽然python的服务...

22510
来自专栏闰土大叔

vue菜鸟从业记:公司项目里如何进行前后端接口联调

最近我的朋友王小闰进入一家新的公司,正好公司项目采用的是前后端分离架构,技术栈是王小闰非常熟悉的vue全家桶,后端用的是Java语言。

1731
来自专栏月色的自留地

K60平台智能车开发工作随手记

2054
来自专栏用户2442861的专栏

关于图片或者文件在数据库的存储方式归纳

http://www.cnblogs.com/wangtao_20/p/3440570.html

6711
来自专栏社区的朋友们

浅聊 API 网关

在微服务概念流行之前,API 网关的就已经诞生了,如银行、证劵等领域常见的前置机系统,解决访问认证、报文转换、访问统计等;而我今天的切入点是从 API-cent...

1.6K2

扫码关注云+社区

领取腾讯云代金券