Python 协程的基本概念

在学习 Python 基础的过程中,遇到了比较难理解的地方,那就是协程。刚开始看了廖雪峰老师的博客,没怎么看懂,后面自己多方位 google 了一下,再回来看,终于看出了点眉目,在此总结下。

什么是 yield 和 yield from

yield

在学习协程之前,要先搞懂几个基本语法,那就是 yield 和 yield from,这也是陆续困扰我几天的问题,等这两个概念弄懂以后,后面的事情就比较简单了。

yield 是一个关键字,当一个方法中带有 yield 时,它就不是一个普通的方法了,而是变成了一个所谓的“生成器”。

生成器不会一下子把所有值都返回给你,可以使用 next() 方法来调用,来不断取值。

当生成器中执行到 yield 的时候,会从 yield 处返回结果,并保留上下文,等下一次 next() 的时候,会从上次的 yield 处继续执行。

上面是一个经典的斐波那契数列的生成函数,每次调用next都会从 yield 处返回结果。

输出:

遇到 return 会抛出异常,并将 return 的值包含在异常中抛出来。

一般我们不会一直调用 next() , 而是使用 for 循环:

输出:

此处没有抛出异常,原因还待解释。。

使用 yield 一个一个地返回结果有什么作用?那是因为这样可以边循环边计算,边返回结果,不用创建完整的 list ,省去大量的内存空间。

接下来的关键点,可以通过 yield 传递参数!这个地方我也是弄了好久才弄明白的。。看下面的生产者和消费者的例子:

输出:

先说明一下,send 方法可以给 yield 发送参数。

程序刚开始执行到“#1”处,这里必须先调用 send(None) 一下。此处可是有讲究的,学名叫“预激”,作用是先启动一下生成器,让它先卡在 yield ,所以此时程序在“#2”处中断了,并返回 r ,随后“#3”处打印出 “404 empty” 。

接下来程序来到“#4”处,又调用了 send 方法,此时 send 参数为1,所以“#2”处被重新激活,将 n 赋值为 1,然后继续向下执行。

接着又循环来到 “#2” 处,yield 将 r 返回,此处中断,来到“#4”处继续执行。如此不断循环,直到满足条件退出循环。

像这样,producer生产完,告诉customer消费,消费完再通知producer生产,这些事情都发生在同一个线程里面,因此没有多线程的锁和资源争夺的问题。至此,协程的初步面貌就已经浮出水面。

小 tip: 调用 send(None) ,就相当于调用 next()。

yield from

Python3.3 版本的 PEP 380 中添加了 yield from 语法,PEP380 的标题是 “syntax for delegating to subgenerator”(把指责委托给子生成器的句法)。由此我们可以知道,yield from 是可以实现嵌套生成器的使用。

yield from x 表达式对x对象做的第一件事是,调用 iter(x),获取迭代器。所以要求x是可迭代对象。

yield from 的主要功能是打开双向通道,把最外层的调用方与最内层的子生成器连接起来,使两者可以直接发送和产出值,还可以直接传入异常,而不用在中间的协程添加异常处理的代码。

这句话理解起来很麻烦,参考以下代码:

输出:

由此可见,生成器 A 通过 yield from 将任务下发给了生成器 B 和生成器 C 来执行了。yield from 可以很方便地拆分生成器,变为几个小生成器,方便代码管理。

什么是协程

根据维基百科给出的定义,“协程 是为非抢占式多任务产生子程序的计算机程序组件,协程允许不同入口点在不同位置暂停或开始执行程序”。

换句话说就是你可以中断函数执行,转而执行别的函数。听起来就像是你正在烧水,在此期间你可以做下一个事情,而不用等水烧开。

以前我们都是用多线程和锁来做这个事情,但是时常会担心线程安全和死锁问题,多线程切换还会产生额外的开销。现在使用协程,在一个线程里面就能完成这些任务,不用担心线程问题,没有使用任何锁,大大提高了执行效率。

上面生产者和消费者的例子,使用了 yield 简单的实现了一个协程代码。

asyncio

asyncio是Python 3.4版本引入的标准库,直接内置了对异步IO的支持。

asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个EventLoop的引用,然后把需要执行的协程扔到EventLoop中执行,就实现了异步IO。

asyncio库使我们方便地实现协程,我们可以把多个协程方法扔到asyncio的消息循环中,asyncio就自动地帮我们调用并协调这些协程方法。

@asyncio.coroutine 装饰器,可以帮助我们把一个生成器装饰为协程方法。

输出

可以看到在第一个任务执行时遇到 yield from ,这时候程序不会等着,而是马上开始下一个任务。当然先开始哪个任务是随机的。看打印出来的线程信息显示,两个任务是在同一个线程执行。

协程帮助我们在一个线程里面异步执行多个任务,里面的任务是并发进行的。

async/await

为了简化并更好地标识异步 IO,从Python 3.5 开始引入了新的语法async和await,可以让coroutine的代码更简洁易读。

使用也非常简单,只要把原来的 @asyncio.coroutine 替换为 async ,把 yield from 替换为 await 。

修改上一节的代码:

协程,有什么用?

asyncio可以实现单线程并发IO操作。如果仅用在客户端,发挥的威力不大。如果把asyncio用在服务器端,例如Web服务器,由于HTTP连接就是IO操作,因此可以用单线程+coroutine实现多用户的高并发支持。

aiohttp 应运而生,它是由 asyncio 实现的 HTTP 框架,帮助我们快速地搭建一个异步的 web 应用。

使用它要先安装:

利用它我们用一小段代码搭建一个小应用:

访问"http://127.0.0.1:8000/"根目录,首页返回

访问"http://127.0.0.1:8000/hello/world",根据URL参数返回文本hello, world!。

总结

在这里,我们初步了解了下协程的基本概念。使用 yield 和 yield from ,并且利用 asyncio 库,可以组合成一个由协程组成的异步程序。async/await 帮助我们简化协程代码。利用协程可以写出很强大的 web 应用,进一步的深入我们后面再细细探究。

谁说代码不快乐,听猿哥叨叨,做一个快乐的程序猿。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180302G0ZRCA00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券