专栏首页python3python3--进程,线程,协程效率对比

python3--进程,线程,协程效率对比

需求:写一个脚本,判断192.168.11.0/24网络里,当前在线ip有哪些?

知识点:

1 使用subprocess模块,来调用系统命令,执行ping 192.168.11.xxx 命令

2 调用系统命令执行ping命令的时候,会有返回值(ping的结果),需要用到stdout=fnull, stderr=fnull方法,屏蔽系统执行命令的返回值

常规版本(代码)

import os
import time
import subprocess
def ping_call():
    start_time = time.time()
    fnull = open(os.devnull, 'w')
    for i in range(1, 256):
        ipaddr = 'ping 192.168.11.' + str(i)
        result = subprocess.call(ipaddr + ' -n 2', shell=True, stdout=fnull, stderr=fnull)
        current_time = time.strftime('%Y%m%d-%H:%M:%S', time.localtime())
        if result:
            print('时间:{} ip地址:{} ping fall'.format(current_time, ipaddr))
        else:
            print('时间:{} ip地址:{} ping ok'.format(current_time, ipaddr))
    print('程序耗时{:.2f}'.format(time.time() - start_time))
    fnull.close()
ping_call()

执行效果:

上面的执行速度非常慢,怎么能让程序执行速度快起来?

python提供了进程,线程,协程。分别用这三个对上面代码改进,提高执行效率,测试一波效率

进程池异步执行 -- 开启20个进程

import os
import time
import subprocess
from multiprocessing import Pool
def ping_call(num):
    fnull = open(os.devnull, 'w')
    ipaddr = 'ping 192.168.11.' + str(num)
    result = subprocess.call(ipaddr + ' -n 2', shell=True, stdout=fnull, stderr=fnull)
    current_time = time.strftime('%Y%m%d-%H:%M:%S', time.localtime())
    if result:
        print('时间:{} ip地址:{} ping fall'.format(current_time, ipaddr))
    else:
        print('时间:{} ip地址:{} ping ok'.format(current_time, ipaddr))

    fnull.close()


if __name__ == '__main__':
    start_time = time.time()
    p = Pool(20)
    res_l = []
    for i in range(1, 256):
        res = p.apply_async(ping_call, args=(i,))
        res_l.append(res)
    for res in res_l:
        res.get()
    print('程序耗时{:.2f}'.format(time.time() - start_time))

执行结果:

线程池异步执行 -- 开启20个线程

import os
import time
import subprocess
from concurrent.futures import ThreadPoolExecutor
def ping_call(num):
    fnull = open(os.devnull, 'w')
    ipaddr = 'ping 192.168.11.' + str(num)
    result = subprocess.call(ipaddr + ' -n 2', shell=True, stdout=fnull, stderr=fnull)
    current_time = time.strftime('%Y%m%d-%H:%M:%S', time.localtime())
    if result:
        print('时间:{} ip地址:{} ping fall'.format(current_time, ipaddr))
    else:
        print('时间:{} ip地址:{} ping ok'.format(current_time, ipaddr))
    fnull.close()

if __name__ == '__main__':
    start_time = time.time()
    thread_pool = ThreadPoolExecutor(20)
    ret_lst = []
    for i in range(1, 256):
        ret = thread_pool.submit(ping_call, i)
        ret_lst.append(ret)
    thread_pool.shutdown()
    for ret in ret_lst:
        ret.result()
    print('线程池(20)异步-->耗时{:.2f}'.format(time.time() - start_time))

执行结果:

协程执行---(执行多个任务,遇到I/O操作就切换)

使用gevent前,需要pip install gevent

from gevent import monkey;monkey.patch_all()
import gevent
import os
import time
import subprocess

def ping_call(num):
    fnull = open(os.devnull, 'w')
    ipaddr = 'ping 192.168.11.' + str(num)
    result = subprocess.call(ipaddr + ' -n 2', shell=True, stdout=fnull, stderr=fnull)
    current_time = time.strftime('%Y%m%d-%H:%M:%S', time.localtime())
    if result:
        print('时间:{} ip地址:{} ping fall'.format(current_time, ipaddr))
    else:
        print('时间:{} ip地址:{} ping ok'.format(current_time, ipaddr))
    fnull.close()

def asynchronous(): # 异步
    g_l = [gevent.spawn(ping_call, i) for i in range(1, 256)]
    gevent.joinall(g_l)

if __name__ == '__main__':
    start_time = time.time()
    asynchronous()
    print('协程执行-->耗时{:.2f}'.format(time.time() - start_time))

执行结果:

遇到I/O操作,协程的效率比进程,线程高很多!

总结:python中,涉及到I/O阻塞的程序中,使用协程的效率最高

最后附带协程池代码

gevent.pool

from gevent import monkey;monkey.patch_all()
import gevent
import os
import time
import subprocess
import gevent.pool

def ping_call(num):
    fnull = open(os.devnull, 'w')
    ipaddr = 'ping 192.168.11.' + str(num)
    result = subprocess.call(ipaddr + ' -n 2', shell=True, stdout=fnull, stderr=fnull)
    current_time = time.strftime('%Y%m%d-%H:%M:%S', time.localtime())
    if result:
        print('时间:{} ip地址:{} ping fall'.format(current_time, ipaddr))
    else:
        print('时间:{} ip地址:{} ping ok'.format(current_time, ipaddr))
    fnull.close()

if __name__ == '__main__':
    start_time = time.time()
    res_l = []
    p = gevent.pool.Pool(100)
    for i in range(1, 256):
        res_l.append(p.spawn(ping_call, i))
    gevent.joinall(res_l)
    print('协程池执行-->耗时{:.2f}'.format(time.time() - start_time))

执行结果:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【系统设置】CentOS 修改机器名

    ken.io
  • 白底黑字or黑底白字,眼睛更喜欢哪一个?

    腾讯大讲堂
  • 不只是软件,在线也可以免费下载百度文库了。

    不管是学生,还是职场员工,下载各种文档几乎是不可避免的,各种XXX.docx,XXX.pptx更是家常便饭,人们最常用的就是百度文库,豆丁文库,道客巴巴这些下载...

    课代表
  • 中国互联网协会发布:《2018中国互联网发展报告》

    在2018中国互联网大会闭幕论坛上,中国互联网协会正式发布《中国互联网发展报告2018》(以下简称《报告》)。《中国互联网发展报告》是由中国互联网协会与中国互联...

    钱塘数据
  • 理工男图解零维到十维空间,烧脑已过度,受不了啦!

    让我们从一个点开始,和我们几何意义上的点一样,它没有大小、没有维度。它只是被想象出来的、作为标志一个位置的点。它什么也没有,空间、时间通通不存在,这就是零维度。

    钱塘数据
  • ISUX Xcube智能一键生成H5

    腾讯ISUX
  • 知识体系解决迷茫的你

    最近在星球里群里都有小伙伴说道自己对未来的路比较迷茫,一旦闲下来就不知道自己改干啥,今天我这篇文章就是让你觉得一天给你 25 个小时你都不够用,觉得睡觉都是浪费...

    桃翁
  • SQL中GROUP BY用法示例

    GROUP BY我们可以先从字面上来理解,GROUP表示分组,BY后面写字段名,就表示根据哪个字段进行分组,如果有用Excel比较多的话,GROUP BY比较类...

    Awesome_Tang
  • 考研英语-1-导学

    英二图表作文要重视。总体而言,英语一会比英语二难点。不过就写作而言,英语二会比英语一有难度,毕竟图表作文并不好写。

    用户1335799
  • 复杂业务下向Mysql导入30万条数据代码优化的踩坑记录

    从毕业到现在第一次接触到超过30万条数据导入MySQL的场景(有点low),就是在顺丰公司接入我司EMM产品时需要将AD中的员工数据导入MySQL中,因此楼主负...

    haifeiWu

扫码关注云+社区

领取腾讯云代金券