用 greenlet 实现 Python 中的并发

关键时刻，第一时间送达！

回顾一下，协程可以在一个函数执行过程中将其挂起，去执行另一个函数，并在必要时将之前的函数唤醒。在Python的语言环境里，协程是相当常用的实现“并发”的方法。上一篇的例子中，我们演示了如何使用yield关键字来实现协程，不过这个看上去非常不直观。这里我们要介绍一个非常好用的框架greenlet，很多知名的网络并发框架如eventlet，gevent都是基于它实现的。

第一个例子

沿袭我们一直以来的习惯，先从例子开始，这次偷个懒，直接把官方文档中的例子拿过来：

fromgreenletimportgreenlet

deftest1():

print12

gr2.switch()

print34

deftest2():

print56

gr1.switch()

print78

gr1=greenlet(test1)

gr2=greenlet(test2)

gr1.switch()

这里创建了两个greenlet协程对象，gr1和gr2，分别对应于函数test1()和test2()。使用greenlet对象的switch()方法，即可以切换协程。上例中，我们先调用”gr1.switch()”，函数test1()被执行，然后打印出”12″；接着由于”gr2.switch()”被调用，协程切换到函数test2()，打印出”56″；之后”gr1.switch()”又被调用，所以又切换到函数test1()。但注意，由于之前test1()已经执行到第5行，也就是”gr2.switch()”，所以切换回来后会继续往下执行，也就是打印”34″；现在函数test1()退出，同时程序退出。由于再没有”gr2.switch()”来切换至函数test2()，所以程序第11行”print 78″不会被执行。

所以，程序运行下来的输出就是：

12

56

34

很好理解吧。使用switch()方法切换协程，也比”yield”, “next/send”组合要直观的多。上例中，我们也可以看出，greenlet协程的运行，其本质是串行的，所以它不是真正意义上的并发，因此也无法发挥CPU多核的优势，不过，这个可以通过协程+进程组合的方式来解决，本文就不展开了。另外要注意的是，在没有进行显式切换时，部分代码是无法被执行到的，比如上例中的”print 78″。

父子关系

创建协程对象的方法其实有两个参数”greenlet(run=None, parent=None)”。参数”run”就是其要调用的方法，比如上例中的函数test1()和test2()；参数”parent”定义了该协程对象的父协程，也就是说，greenlet协程之间是可以有父子关系的。如果不设或设为空，则其父协程就是程序默认的”main”主协程。这个”main”协程不需要用户创建，它所对应的方法就是主程序，而所有用户创建的协程都是其子孙。大家可以把greenlet协程集看作一颗树，树的根节点就是”main”，上例中的”gr1″和”gr2″就是其两个字节点。

在子协程执行完毕后，会自动返回父协程。比如上例中test1()函数退出，代码会返回到主程序。让我们写个更清晰的例子来实验下：

fromgreenletimportgreenlet

deftest1():

print12

gr2.switch()

print34

deftest2():

print56

gr1=greenlet(test1)

gr2=greenlet(test2,gr1)

gr1.switch()

print78

这里创建greenlet对象”gr2″时，指定了其父协程是”gr1″。所以在函数test2()里，虽然没有”gr1.switch()”代码，但是在其退出后，程序一样回到了函数test1()，并且执行”print 34″。同样，在test1()退出后，代码回到了主程序，并执行”print 78″。所以，最后的输出就是：

12

56

34

78

如果上例中，”gr2″的父协程不是”gr1″而是”main”的话，那test2()运行完毕就会回到主程序并直接打印”78″，这样”print 34″就不会执行。大家可以试一试。

还有一个重要的点，就是协程退出后，就无法再被执行了。如果上例在函数test1()中，再加一句”gr2.switch()”，运行的结果是一样的。因为第二次调用”gr2.switch()”，什么也不会运行。

deftest1():

print12

gr2.switch()

print34

gr2.switch()

大家可能会感觉到父子协程之间的关系，就像函数调用一样，一个嵌套一个。的确，其实greenlet协程的实现就是使用了栈，其运行的上下文保存在栈中，”main”主协程处于栈底的位置，而当前运行中的协程就在栈顶。这同函数是一样。此外，在任何时候，你都可以使用”greenlet.getcurrent()”，获取当前运行中的协程对象。比如在函数test2()中执行”greenlet.getcurrent()”，其返回就等于”gr2″。

异常

既然协程是存放在栈中，那一个协程要抛出异常，就会先抛到其父协程中，如果所有父协程都不捕获此异常，程序才会退出。我们试下，把上面的例子中函数test2()的代码改为：

deftest2():

print56

raiseNameError

程序执行后，我们可以看到Traceback信息：

File"parent.py",line14,in

gr1.switch()

File"parent.py",line5,intest1

gr2.switch()

File"parent.py",line10,intest2

raiseNameError

同时大家可以试下，如果将”gr2″的父协程设为空，Traceback信息就会变为：

File"parent.py",line14,in

gr1.switch()

File"parent.py",line10,intest2

raiseNameError

因此，如果”gr2″的父协程是”gr1″的话，异常先回抛到函数test1()的代码”gr2.switch()”处。所以，我们再对函数test1()改动下：

deftest1():

print12

try:

gr2.switch()

exceptNameError:

print90

print34

运行后的结果，如果”gr2″的父协程是”gr1″，则异常被捕获，并打印90。否则，异常会被抛出。以上实验很好的证明了，子协程抛出的异常会根据栈里的顺序，依次抛到父协程里。

有一个异常是特例，不会被抛到父协程中，那就是”greenlet.GreenletExit”，这个异常会让当前协程强制退出。比如，我们将函数test2()改为：

deftest2():

print56

raisegreenlet.GreenletExit

print78

那代码行”print 78″永远不会被执行。但这个异常不会往上抛，所以其父协程还是可以正常运行。

另外，我们可以通过greenlet对象的”throw()”方法，手动往一个协程里抛个异常。比如，我们在test1()里调一个throw()方法：

deftest1():

print12

gr2.throw(NameError)

try:

gr2.switch()

exceptNameError:

print90

print34

这样，异常就会被抛出，运行后的Trackback是这样的：

File"exception.py",line21,in

gr1.switch()

File"exception.py",line5,intest1

gr2.throw(NameError)

如果将”gr2.throw(NameError)”放在”try”语句中，那该异常就会被捕获，并打印”90″。另外，当”gr2″的父协程不是”gr1″而是”main”时，异常会直接抛到主程序中，此时函数test1()中的”try”语句就不起作用了。

协程间传递消息

在介绍生成器时，我们聊过可以使用生成器的send()方法来传递参数。greenlet也同样支持，只要在其switch()方法调用时，传入参数即可。我们再来基于本文第一个例子改造下：

fromgreenletimportgreenlet

deftest1():

print12

y=gr2.switch(56)

printy

deftest2(x):

printx

gr1.switch(34)

print78

gr1=greenlet(test1)

gr2=greenlet(test2)

gr1.switch()

在test1()中调用”gr2.switch()”，由于协程”gr2″之前未被启动，所以传入的参数”56″会被赋在test2()函数的参数”x”上；在test2()中调用”gr1.switch()”，由于协程”gr1″之前已执行到第5行”y = gr2.switch(56)”这里，所以传入的参数”34″会作为”gr2.switch(56)”的返回值，赋给变量”y”。这样，两个协程之间的互传消息就实现了。

让我们将上一篇介绍生成器时写的生产者消费者的例子，改为greenlet实现吧：

fromgreenletimportgreenlet

defconsumer():

last=''

whileTrue:

receival=pro.switch(last)

ifreceivalisnotNone:

print'Consume %s'%receival

last=receival

defproducer(n):

con.switch()

x=

x+=1

print'Produce %s'%x

last=con.switch(x)

pro=greenlet(producer)

con=greenlet(consumer)

pro.switch(5)

更多参考资料

greenlet的官方文档

greenlet的源码

本文中的示例代码可以在这里下载。