一日一技：在Python 的线程中运行协程

青南

发布于 2020-02-26 13:25:41

3.5K0

发布于 2020-02-26 13:25:41

文章被收录于专栏：未闻Code未闻Code

摄影：产品经理

下厨：kingname

在一篇文章理解Python异步编程的基本原理这篇文章中，我们讲到，如果在异步代码里面又包含了一段非常耗时的同步代码，异步代码就会被卡住。

那么有没有办法让同步代码与异步代码看起来也是同时运行的呢？方法就是使用事件循环的.run_in_executor()方法。

我们来看一下 Python 官方文档[1]中的说法：

那么怎么使用呢？还是以非常耗时的递归方式计算斐波那契数列的这个函数为例：

def sync_calc_fib(n):
    if n in [1, 2]:
        return1
    return sync_calc_fib(n - 1) + sync_calc_fib(n - 2)


async def calc_fib(n):
    result = sync_calc_fib(n)
    print(f'第 {n} 项计算完成，结果是：{result}')
    return result

我们现在需要用 aiohttp 访问一个延迟5秒的网页，同时计算斐波那契数列第36项。

首先我们看看单独计算第36项需要5秒钟：

我们再来看看如果直接把这计算斐波那契数列和请求网站的两个异步任务放在一起“并行”，实际时间是两个任务的时间叠加：

具体原因我在上一篇文章里面已经做了说明。

现在，我想让两个任务“同时运行”，于是就可以这样修改代码：

import aiohttp
import asyncio
import time
from concurrent.futures import ThreadPoolExecutor


async def request(sleep_time):
    async with aiohttp.ClientSession() as client:
        resp = await client.get(f'http://127.0.0.1:8000/sleep/{sleep_time}')
        resp_json = await resp.json()
        print(resp_json)


def sync_calc_fib(n):
    if n in [1, 2]:
        return 1
    return sync_calc_fib(n - 1) + sync_calc_fib(n - 2)


def calc_fib(n):
    result = sync_calc_fib(n)
    print(f'第 {n} 项计算完成，结果是：{result}')
    return result


async def main():
    start = time.perf_counter()
    loop = asyncio.get_event_loop()
    with ThreadPoolExecutor(max_workers=4) as executor:
        tasks_list = [
            loop.run_in_executor(executor, calc_fib, 36),
            asyncio.create_task(request(5))
        ]
        await asyncio.gather(*tasks_list)
        end = time.perf_counter()
        print(f'总计耗时：{end - start}')


asyncio.run(main())

运行效果如下图所示：

在5秒钟的时间，就把计算斐波那契数列和请求5秒延迟的网站都做完了。

实现这样的转变，关键的代码就是：loop.run_in_executor(executor, calc_fib, 36)

其中的 loop就是主线程的事件循环(event loop)，它是用来调度同一个线程里面的多个协程。

executor是我们使用ThreadPoolExecutor(max_workers=4)创建的一个有4个线程的线程池，calc_fib是一个耗时的同步函数，36是传入calc_fib的参数。loop.run_in_executor(executor, calc_fib, 36)的意思是说：