前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python 高级并发3

Python 高级并发3

作者头像
用户1416054
发布2018-08-02 11:47:33
5360
发布2018-08-02 11:47:33
举报
文章被收录于专栏:JackeyGao的博客JackeyGao的博客

Python 高级并发3

Posted September 30, 2015

本篇主要讲案例, 两个使用Concurrent.futures实现的并发, 一个是多线程, 一个是多进程。

多进程

用在计算密集的确定Long Number是否为质数的例子

Python

代码语言:javascript
复制
import concurrent.futures
import math

PRIMES = [
    112272535095293,
    112582705942171,
    112272535095293,
    115280095190773,
    115797848077099,
    1099726899285419]

def is_prime(n):
    if n % 2 == 0:
        return False

    sqrt_n = int(math.floor(math.sqrt(n)))
    for i in range(3, sqrt_n + 1, 2):
        if n % i == 0:
            return False
    return True

def main():
    with concurrent.futures.ProcessPoolExecutor() as executor:
        for number, prime in zip(PRIMES, executor.map(is_prime, PRIMES)):
            print('%d is prime: %s' % (number, prime))

if __name__ == '__main__':
    main()

多线程

用在多线程访问HTTP链接, I/O密集的时候

Python

代码语言:javascript
复制
import concurrent.futures
import requests

URLS = ['http://jackeygao.com/',
        'http://pythoner.party/',
        'http://www.baidu.com/',
        'http://12306.cn/',
        'http://china.com/']

# Retrieve a single page and report the url and contents
def load_url(url, timeout):
    res = requests.get(url, timeout=timeout)
    return res.text

# We can use a with statement to ensure threads are cleaned up promptly
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    # Start the load operations and mark each future with its URL
    future_to_url = {executor.submit(load_url, url, 60): url for url in URLS}
    for future in concurrent.futures.as_completed(future_to_url):
        url = future_to_url[future]
        try:
            data = future.result()
        except Exception as exc:
            print('%r generated an exception: %s' % (url, exc))
        else:
            print('%r page is %d bytes' % (url, len(data)))

以上内容修改自docs.python.org

ThreadPoolExecutorProcessPoolExecutor 都是concurrent.futures.Executor的子类。 那么他们都有submitmapshutdown方法

**submit(fn, *args, kwargs)

异步执行函数

参数:

fn 为需要异步执行的函数

args kwargs 函数的参数

map(func, *iterables, timeout=None)¶

此map函数和python自带的map函数功能类似,只不过concurrent模块的map函数从迭代器获得参数后异步执行。并且,每一个异步操作,能用timeout参数来设置超时时间,timeout的值可以是int或float型,如果操作timeout的话,会raisesTimeoutError。如果timeout参数不指定的话,则不设置超时间。

func 为需要异步执行的函数

*iterables 可以是一个能迭代的对象,例如列表等。每一次func执行,会从iterables中取参数。

timeout 每个异步操作的超时时间

shutdown(wait=True)

此函数用于释放异步执行操作后的系统资源。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Python 高级并发3
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档