Python编程:多线程 threading

前言

多任务可以由多进程完成,也可以由一个进程内的多线程完成。我们前面提到了进程是由若干线程组成的,一个进程至少有一个线程。

由于线程是操作系统直接支持的执行单元,因此,高级语言通常都内置多线程的支持,Python也不例外,并且,Python的线程是真正的,而不是模拟出来的线程。

Python3 线程中常用的两个模块为:

(推荐使用)

模块已被废弃。用户可以使用 模块代替。所以,在 Python3 中不能再使用 模块。为了兼容性,Python3 将 重命名为 。

_thread 与 threading

提供了低级别的、原始的线程以及一个简单的锁,它相比于 模块的功能还是比较有限的。 模块除了包含模块中的所有方法外,还提供的其他方法:

: 返回当前的线程变量。

: 返回一个包含正在运行的线程的。正在运行指线程启动后、结束前,不包括启动前和终止后的线程。

: 返回正在运行的线程数量,与有相同的结果。

除了使用方法外,线程模块同样提供了Thread类来处理线程,Thread类提供了以下方法:

: 用以表示线程活动的方法。

:启动线程活动。

: 等待至线程中止。这阻塞调用线程直至线程的 方法被调用中止-正常退出或者抛出未处理的异常-或者是可选的超时发生。

: 返回线程是否活动的。

: 返回线程名。

: 设置线程名。

多线程

启动一个线程说白了就是把一个函数传入并创建,然后调用开始执行。

运行结果:

说明:

1.由于任何进程默认就会启动一个线程,我们把该线程称为主线程,主线程实例的名字叫。主线程又可以启动新的线程,Python的模块有个函数,它永远返回当前线程的实例。子线程的名字在创建时指定,本例中我们用了、命名子线程。名字仅仅在打印时用来显示,完全没有其他意义,如果不起名字Python就自动给线程命名为以此类推。

2.上面启动一个线程例子的核心:就是把一个函数传入并创建,然后调用开始执行。

线程锁 Lock

多线程和多进程最大的不同在于,多进程中,同一个变量,各自有一份拷贝存在于每个进程中,互不影响,而多线程中,所有变量都由所有线程共享,所以,任何一个变量都可以被任何一个线程修改,因此,线程之间共享数据最大的危险在于多个线程同时改一个变量,把内容给改乱了。

如果多个线程共同对某个数据修改,则可能出现不可预料的结果,为了保证数据的正确性,需要对多个线程进行同步。

使用 对象的 和 可以实现简单的线程同步,这两个对象都有 方法和方法,对于那些需要每次只允许一个线程操作的数据,可以将其操作放到 和 方法之间。

假如,12306平台多线程卖票:假设12306开始是有10张票。创建5条线程去卖这10张票,其中某线程卖出后,过了后,该乘客又把票退了。理论上讲:此时12306平台还应该是10张票。但由于多条线程共享这10张票,结果就会有点意外。示例代码如下:

未使用线程锁 示例:

运行结果:

我们定义了一个共享变量,初始值为10,并且启动5个线程,理论上结果应该为10,但是,由于线程的调度是由操作系统决定的,当交替执行时,的结果就不一定是10了。

原因是因为高级语言的一条语句在CPU执行时是若干条语句

即使一个简单的计算:

也分两步:

1.计算,存入临时变量中;

2.将临时变量的值赋给。

也就是可以看成:

为了放大这种耗时效果,我们采取了措施:。假如当开始卖出3张票时,也被其他4个线程已各卖出3张且这4个线程都没来的及退票,此时首先退票完成:

使用线程锁

如果我们要确保计算正确,就要给上一把锁,当某个线程开始执行时,我们说,该线程因为获得了锁,因此其他线程不能同时执行,只能等待,直到锁被释放后,获得该锁以后才能改。由于锁只有一个,无论多少线程,同一时刻最多只有一个线程持有该锁,所以,不会造成修改的冲突。

创建一个锁就是通过threading.Lock()来实现:

使用 对象的 和 可以实现简单的线程同步,这两个对象都有 方法和方法,对于那些需要每次只允许一个线程操作的数据,可以将其操作放到 和 方法之间。

运行结果:

当多个线程同时执行时,只有一个线程能成功地获取锁,然后继续执行代码,其他线程就继续等待直到获得锁为止。

获得锁的线程用完后一定要释放锁,否则那些苦苦等待锁的线程将永远等待下去,成为死线程。所以我们可以用来确保锁一定会被释放。

锁的好处就是确保了某段关键代码只能由一个线程从头到尾完整地执行,坏处当然也很多,首先是阻止了多线程并发执行,包含锁的某段代码实际上只能以单线程模式执行,效率就大大地下降了。其次,由于可以存在多个锁,不同的线程持有不同的锁,并试图获取对方持有的锁时,可能会造成死锁,导致多个线程全部挂起,既不能执行,也无法结束,只能靠操作系统强制终止。

GIL

因为Python的线程虽然是真正的线程,但解释器执行代码时,有一个GIL锁:,任何Python线程执行前,必须先获得GIL锁,然后,每执行100条字节码,解释器就自动释放GIL锁,让别的线程有机会执行。这个GIL全局锁实际上把所有线程的执行代码都给上了锁,所以,多线程在Python中只能交替执行,即使100个线程跑在100核CPU上,也只能用到1个核。

GIL是Python解释器设计的历史遗留问题,通常我们用的解释器是官方实现的CPython,要真正利用多核,除非重写一个不带GIL的解释器。

所以,在Python中,可以使用多线程,但不要指望能有效利用多核。如果一定要通过多线程利用多核,那只能通过C扩展来实现,不过这样就失去了Python简单易用的特点。

不过,也不用过于担心,Python虽然不能利用多线程实现多核任务,但可以通过多进程实现多核任务。多个Python进程有各自独立的GIL锁,互不影响。

补充:线程优先级队列( Queue)

Python 的 模块中提供了同步的、线程安全的队列类,包括队列,队列,和优先级队列 。

这些队列都实现了锁原语,能够在多线程中直接使用,可以使用队列来实现线程间的同步。

小结

如果多个线程共同对某个数据修改,则可能出现不可预料的结果,为了保证数据的正确性,需要对多个线程进行同步。

多线程编程,模型复杂,容易发生冲突,必须用锁加以隔离,同时又要小心死锁的发生。

Python解释器由于设计时有GIL全局锁,导致了多线程无法利用多核。

人人懂编程ID:pythonDNA

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180812G0EV3Z00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券