本指南的目的是解释为什么在Python中需要多线程和多处理，何时使用多线程和多处理，以及如何在程序中使用它们。作为一名人工智能研究人员，我在为我的模型准备数据时广泛使用它们!
每个数据科学项目迟早都会面临一个不可避免的挑战：速度问题。使用更大的数据集会导致处理速度变慢，因此最终必须想办法优化算法的运行时间。正如你们大多数人已经知道的，并行化是这种优化的必要步骤。python 为并行化提供了两个内置库：多处理和线程。在这篇文章中，我们将探讨数据科学家如何在两者之间进行选择，以及在这样做时应注意哪些因素。
来源：IBM 译者：ljianhui 链接：blog.csdn.net/ljianhui/article/details/46718835 1.1 Linux进程管理 进程管理是操作系统的最重要的功能之一。有效率的进程管理能保证一个程序平稳而高效地运行。 Linux的进程管理与UNIX的进程管理相似。它包括进程调度、中断处理、信号、进程优先级、上下文切换、进程状态、进度内存等。 在本节中，我们将描述Linux进程管理的基本原理的实现。它将更好地帮助你理解Linux内核如何处理进程及其对系统性能的影响。
Linux进程管理 进程管理是操作系统的最重要的功能之一。有效率的进程管理能保证一个程序平稳而高效地运行。 Linux的进程管理与UNIX的进程管理相似。它包括进程调度、中断处理、信号、进程优先级、上下文切换、进程状态、进度内存等。 在本节中，我们将描述Linux进程管理的基本原理的实现。它将更好地帮助你理解Linux内核如何处理进程及其对系统性能的影响。 什么是进程？ 一个进程是一个运行在处理器的程序的一个实例。该进程使用Linux内核能够处理的任何资源来完成它的任务。 所有运行在Linux操作系统中
本文为IBM RedBook的Linux Performanceand Tuning Guidelines的1.1节的翻译 原文地址：http://www.redbooks.ibm.com/redpapers/pdfs/redp4285.pdf 原文作者：Eduardo Ciliendo, Takechika Kunimasa, Byron Braswell 1.1 Linux进程管理 进程管理是操作系统的最重要的功能之一。有效率的进程管理能保证一个程序平稳而高效地运行。 Linux的进程管理与UNIX的进
编程问题中的相当一大部分都可以通过顺序编程来解决。然而，对于某些问题，如果能够并行的执行程序中的多个部分，则会变得非常方便甚至非常必要，这些部分要么可以并发执行，要么在多处理器环境下可以同时执行。 并发编程可以使程序执行速度得到极大的提高，或者为设计某些类型的程序提供更简单的模型。学习并发编程就像进入一个全新的领域，有点类似于学习一门新的编程语言，或者是学习一整套新的语言概念。要理解并发编程与理解面向对象编程差不多。要想真正的掌握它的实质，就需要深入的学习和理解。 并发的多面性 并发编程令人困惑的一个重要原
在学习完常规的语法后，我们将进入下一步的学习，而多线程则是被大多数人认为的下一步的学习目标，因为在有了基础的语法大框架后我们都有了对编程的一个基本的认知，而多线程则是开始有了一定的深度。
一、优化 1.布局优化：尽量减少布局文件层级嵌套，由于RelativeLayout会onMeasure两次，减慢绘制时间，所以，简单布局使用LinearLayout，复杂的用RelativeLayout。使用include标签，merage标签，ViewStub控件加大布局控件的复用率。 2.绘制优化：尽量避免在onDraw方法内做大量的操作。比如不要创建新的局部对象，不要做耗时操作。 3.内存泄漏优化：非静态内部类默认持有外部引用，静态内部类默认不持有外部引用；单例模式导致的内存泄漏，单例的生命周期与application保持一致，由于创建单例时的activity无法被及时释放；属性动画导致的，无限循环动画没有在onDestroy中终止和释放，应该调用animator.cancle()停止动画。 内存泄漏与解决总结
python的代码执行由python虚拟机（也叫解释器主循环，CPython版本）来控制，python在设计之初就考虑到在解释器的主循环中，同时只有一个线程在运行。即在任意时刻只有一个线程在解释器中运行。对python虚拟机访问的控制由全局解释锁GIL控制，正是这个锁来控制同一时刻只有一个线程能够运行。
工程师 Jim Anderson 分享了他的经验，他写了一篇关于「通过并发性加快 python 程序的速度」的文章。Jim 有多年的编程经验，并且使用过各种编程语言。他曾做过嵌入式系统相关的工作，开发过分布式系统，并且参加过许多会议。
在这个 Python 多线程教程中，您将看到创建线程的不同方法，并学习实现线程安全操作的同步。这篇文章的每个部分都包含一个示例和示例代码，以逐步解释该概念。
Odoo是世界上最受欢迎的一体化商业软件，包含CRM，网站，电子商务，计费，会计，制造，仓库，项目管理，库存等多种商业应用程序，无缝地 集成。
在上篇中，我们已经讲过了相关概念以及 I/O 绑定程序的加速。下篇的内容是 CPU 程序加速。AI 科技评论编译整理如下：
虽然python的多处理库已经成功地广泛的用于应用程序，但在本文中，我们发现它在缺少一些重要的应用程序类中依然存在不足，包括数值数据处理、状态计算和具有昂贵初始化的计算。主要有两个原因：
上述两个特点是独立的，因此操作系统可以独立地处理它们。为了区分这两个特点，分派的单位通常称做线程（thread）或轻量级进程（light weight process，LWP）；拥有资源所有权的单位通常仍称作进程（process）或任务（task）。
虽然Python的多处理库已成功用于广泛的应用程序，但在本博文中发现它不适用于几个重要的应用程序类，包括数值数据处理，有状态计算和昂贵的初始化计算。主要有两个原因：
在未配置OS的系统中，程序的执行方式是顺序执行，即必须在一个程序执行完成后，才允许另外一个程序执行；在多道程序环境下，则允许多个程序并发执行。也正是程序的并发执行，才导致引入进程。
Go是一种过程式编程语言。它由 Google 的 Robert Griesemer、Rob Pike 和 Ken Thompson 于2007年开发，但于2009 年作为开源编程语言推出。程序通过使用包进行组装，以有效管理依赖关系。该语言还支持采用类似于动态语言的模式的环境。例如，类型推断（y := 0 是浮点类型变量 y 的有效声明）。
存取速度比较：L1缓分成两种，一种是指令缓存，一种是数据缓存。L2缓存和L3缓存不分指令和数据。L1和L2缓存在第一个CPU核中，L3则是所有CPU核心共享的内存。L1、L2、L3的越离CPU近就越小，速度也越快，越离CPU远，速度也越慢。再往后面就是内存，内存的后面就是硬盘。我们来看一些他们的速度：
顺序执行：单道批处理的执行方式，也用于简单的单片机系统，具有独立功能的程序独占cpu直到得到最终结果的过程
pthread_t 到底是什么类型呢？取决于实现。对于Linux目前实现的NPTL实现而言，pthread_t类型的线程ID，本质就是一个进程地址空间上的一个地址。
引入进程 的目的： 使多个程序能并发执行，提高资源利用率和系统吞吐量。 引入线程 的目的： 应用的需要/ 开销的考虑/ 性能的提升
考虑一个场景：浏览器，网易云音乐以及notepad++ 三个软件只能顺序执行是怎样一种场景呢？另外，假如有两个程序A和B，程序A在执行到一半的过程中，需要读取大量的数据输入（I/O操作），而此时CPU只能静静地等待任务A读取完数据才能继续执行，这样就白白浪费了CPU资源。你是不是已经想到在程序A读取数据的过程中，让程序B去执行，当程序A读取完数据之后，让程序B暂停。聪明，这当然没问题，但这里有一个关键词：切换。
揭秘Crashpad系统如何帮助Dropbox这样复杂的桌面程序捕获并报告崩溃，且兼容Python的多种语言。
虚拟地址空间 📷 📷 内核在进程和物理内存之间提供了一层抽象层，这一层是虚拟地址空间，进程的内存视图是通过虚拟地址空间构建的。虚拟地址空间为进程提供了假象(虚拟内存)，每个进程以为自己在执行过程中独占了整个内存，虚拟内存是由内核的内存管理和CPU的MMU协调实现的。每个进程都会有32位或者64位的地址空间，这个地址空间范围是由系统结构所限定的。每个进程通过MMU加载到虚拟地址空间中，任何进程尝试方位其边界之外的地址空间都会触发硬件故障，从而使内存管理器能够检测和终止违反的进程(Segment Fault错误
每个进程有自己的地址空间，保存进程映像，控制一些资源(文件，I/O设备)，有状态、优先级、调度
torch.multiprocessing是围绕本机多处理模块的包装器。它注册自定义约简器，使用共享内存在不同进程中提供对相同数据的共享视图。一旦张量/存储被移动到shared_memory(请参阅share_memory_())，就可以将它发送到其他进程，而不需要进行任何复制。
threading模块基于Java线程模型设计。不过Java中锁和条件变量是每个对象的基本行为，在python中却是单独的对象。python的Thread类行为是Java的Thread类行为的子集，目前尚不支持优先级、线程组，线程无法销毁、停止、暂停、恢复或中断。Java中Thread类的静态方法在Python中映射为模块级的函数。
程序并不能单独运行，只有将程序装载到内存中，系统为它分配资源才能运行，而这种一个程序在一个数据集上的一次动态执行过程就称之为进程。程序和进程的区别就在于：程序是指令的集合，它是进程运行的静态描述文本；进程是程序的一次执行活动，属于动态概念。进程一般由程序、数据集、进程控制块三部分组成。
本文整理自讲座： 演讲者为： 功能强大的低能耗设备的引入引发了可以在边缘运行的高级 AI 方法的新时代。但是由于与边缘设备相关的严格限制，在边缘训练和部署深度学习模型可能会令人生畏。您如何构建一个不太复杂或太大而无法在边缘设备上运行的模型，但仍能充分利用可用硬件？NVIDIA Jetson是当今最受欢迎的低功耗边缘硬件系列之一。它旨在加速边缘硬件上的深度学习模型，无论是机器人、无人机、物联网设备还是自动驾驶汽车。 是什么让 Jetson 上的深度学习变得困难？ 在最好的情况下，深度学习并不是那么容易做好
本文的目的是尽可能地用简洁的语言介绍 Python 编程语言的所有关键技术点，以帮助初学者能够使用任何 Python 库或实现自己的 Python 包。此外，本文还将重点介绍一些 Python 使用者经常查询的热门问题。下面，让我们开始吧。
批评Python的讨论经常谈论使用Python进行多线程工作有多么困难，将矛头指向所谓的全局解释器锁（正式称为GIL），该锁阻止了多个Python代码线程同时运行。因此，如果您不是Python开发人员，并且来自其他语言（例如C ++或Java），则Python多线程模块的行为可能与您期望的不太一样。必须明确的是，只要考虑到某些因素，仍然可以用Python编写可同时运行或并行运行的代码，并在最终性能上产生显着差异。如果您尚未阅读，建议您看看Eqbal Quran的Toptal Engineering Blog上有关Ruby中的并发和并行性的文章。
并行包括指令级并行,数据级并行,线程级并行。指令级并行主要是在一个CPU内利用流水线，乱序执行，指令多发射等技术实现。线程级并行主要利用多核cpu。指令级并行对程序员是透明的，完全靠硬件实现。
我经常被问到如何杀死一个后台线程，这个问题的答案让很多人不开心: 线程是杀不死的。在本文中，我将向您展示 Python 中用于终止线程的两个选项。
操作系统中最核心的概念就是进程。进程是对正在运行的程序的抽象。 没有进程的抽象，现代计算将不复存在。操作系统的其他所有内容都是围绕着进程的概念展开的。所以，透彻的理解进程是非常必要的。 进程是操作系统提供的最古老的、最重要的抽象概念之一。即使可以使用的CPU只有一个，但他们也具有支持（伪）并发操作的能力，他们将一个单独的CPU变换成多个虚拟的CPU。
一 数据结构和GIL 1 queue 标准库queue模块，提供FIFO的queue、LIFO的队列，优先队列 Queue 类是线程安全的，适用于多线程间安全的交换数据，内部使用了Lock和Condition ---- 为什么说容器的大小不准确，其原因是如果不加锁，是不可能获取到准确的大小的，因为你刚读取了一个大小，还没取走，有可能被就被其他线程修改了，queue类的size虽然加了锁，但是依然不能保证立即get，put就能成功，因为读取大小和get,put方法是分来的。 2 GIL 1
进程中使用malloc/new都是在虚拟内存中开辟的空间，需要通过页表与物理内存建立联系以后才能拥有真正的物理空间，也就是说一个进程能看到多少资源取决于进程地址空间，但这个资源是否有效则取决于页表是否与物理内存之间建立映射关系，也即是进程地址空间是一个进程的资源窗口，页表决定进程到底有多少资源
multiprocessing是一个支持使用类似于线程模块的API派生进程的包。该包同时提供本地和远程并发，通过使用子进程而不是线程，有效地避开了全局解释器锁。因此，multiprocessing模块允许程序员充分利用给定机器上的多个处理器。它同时在Unix和Windows上运行。
多道程序操作系统的基础。通过在进程之间切换CPU，操作系统可以提高计算机的吞吐率。
大家好，我是渔夫子。今天跟大家分享一篇操作系统相关的文章，该篇文章在medium中具有高达7.7K的点赞数，所以肯定还是值得一读的，文末附原文链接。
在并发编程中，任务通常通过多个进程异步执行，以提高性能和资源利用率。Python中的concurrent.futures等库提供了一种方便的方式来管理这些任务及其关联的Future对象。然而，有时候我们可能会遇到一个问题，即在一个进程池中的进程在一个Future尚未完成或处于待处理状态时突然终止。在本篇博客文章中，我们将探讨这个问题的可能原因，并讨论一些处理方法。
最近有人在Twisted邮件列表中提出诸如”为任务紧急的人提供一份Twisted介绍”的的需求。值得提前透露的是，这个序列并不会如他们所愿.尤其是介绍Twisted框架和基于Python 的异步编程而言，可能短时间无法讲清楚。因此,如果你时间紧急，这恐怕不是你想找的资料。
注：pthread_exit或者return返回的指针所指向的内存单元必须是全局的或者是用malloc分配的，不能在线程函数的栈上分配，因为当其它线程得到这个返回指针时线程函数已经退出了
创建进程池可以形象地理解为创建一个并行的流水线，只需创建一次流水线的消耗，处理接收到的任务的，不使用进程池。 ，浪费时间。
1、创建状态：进程由创建而产生。 2、就绪状态：指进程已准备好运行状态，即进程已分配到除CPU以外所有的必要资源后，只要再获得CPU，合可立即执行。（有执行资格，没有执行权的进程） 3、运行状态：指进程已经获取CPU，其进程处于正在执行的状态。（既有执行资格，又有执行权的进程） 4、阻塞状态：指正在执行的进程由于发生某事件（如I/O请求，申请缓冲区失败等）暂时无法继续执行的状态，即进程执行受到阻塞。 5、终止状态：进程的终止也要通过两个步骤：首先，是等待操作系统进行善后处理，最后将其PCB清零，并将PCB空间返还给操作系统。
概述 ---- 今天主要看看以下几部分内容 线程状态 线程终止 内存屏障和 CPU 缓存 线程通信 线程封闭 1. 线程状态 ---- 1. 6个状态 网上的答案各种各样，有5个，有6个，还有7个的，大家直接从官方源码，从以下枚举中查看线程的状态就可以了。 java.lang.Thread.State NEW: 尚未启动的线程的线程状态。 RUNNABLE: 可运行线程的线程状态，等待CPU调度。 BLOCKED: 线程阻塞等待监视器锁定的线程状态。处于 synchronized 同步代码块或方
我们在前两章提到了线程、进程，还有并发编程。我们在很高的层次，用抽象的名词，讲了如何组织代码，已让其部分并发运行，在多个CPU上或在多台机器上。 本章中，我们会更细致的学习Python是如何使用多个CPU进行并发编程的。具体目标是加速CPU密集型任务，提高I/O密集型任务的反馈性。 好消息是，使用Python的标准库就可以进行并发编程。这不是说不用第三方的库或工具。只是本章中的代码仅仅利用到了Python的标准库。 本章介绍如下内容： 多线程 多进程 多进程队列 多线程 Python从1.4版本开始就支持多
5.3.1 先到先服务调度(First-Come，First-Served scheduling)
本文最初发表在 Medium 博客上，经原作者 Bharath K 授权，InfoQ 中文站翻译并分享。
使用Python分析数据，如果使用了正确的数据结构和算法，有时可以大量提高程序的速度。实现此目的的一种方法是使用Muiltithreading（多线程）或Multiprocessing（多重处理）。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
