如何在python中对一个函数使用多进程？

文章/答案/技术大牛

发布

2回答

Python :如何轻松地跟踪大包中的模块/函数定义

python、module

假设我有一个很大的python包，它包含许多文件和文件夹结构(包含许多模块)。如果我打开任何随机文件，并找到自定义函数/模块，并想知道他们的工作和目的。但是有时这种函数位于其他文件上(通过导入)。追踪他们最简单的方法是什么。使用“import”语句进行反向跟踪似乎没有效率。有小费吗？

浏览 0提问于2018-06-01得票数 1

回答已采纳

2回答

为什么多处理复制我的数据，如果我不碰它？

python、multithreading、python-3.x、multiprocessing

我在追踪一个内存不足的错误，发现python的多进程似乎复制了大型数组，即使我无意使用它们，这让我感到震惊。为什么python (在Linux上)要这样做，我认为写上复制可以保护我免受任何额外的复制？我设想，每当我引用对象时，就会调用某种陷阱，然后复制才会被调用。对于任意数据类型，比如使用Monitor的30G自定义字典，解决这个问题的正确方法是什么？有什么方法可以构建Python，这样它才不会有这种无稽之谈呢？print("Wow") p.

浏览 1提问于2015-06-21得票数 6

回答已采纳

1回答

调试并行python程序中的IO失速(状态D)，低CPU高内存

python、parallel-processing、memory-leaks、profiling、joblib

但是，我有一个与并行的Python程序，正如您在这张截图中看到的那样，每个进程使用的CPU比例远远低于100%，进程状态为，即等待IO。该程序对10000 (非常小)数据集中的每个数据集运行一次函数。每个这样的函数执行都需要几分钟时间，除了进行计算之外，它还通过sqlalchemy (仅读取)查询sqlite数据库，加载了相当多的内存。在运行并行化时，有什么方法可以获得IO正在拖延的python函数

浏览 11提问于2022-08-25得票数 0

2回答

快速检测远程进程退出/崩溃

process、locking、monitoring、distributed-computing

我有一个分布式应用程序，其中的资源被锁定为任务专用。每个任务都在自己的进程中运行。我想自动解锁资源，如果一个任务进程退出或它正在运行的服务器死亡(如电源故障)。如何在几秒钟内远程检测到这样的进程退出/失败？在谷歌搜索之后，我想出了几个点子，但我没有直接的经验.使用内置于mySQL (get_lock)或postgres (pg_advisory_lock)中的建议锁函数。如果数据库连接关

浏览 7提问于2011-03-01得票数 1

回答已采纳

1回答

频繁更改流程优先级是否会产生副作用

unix、process

默认情况下，我们的进程被设置为更高的优先级，但是对于某些操作，如调用shell命令、写文件等。我在考虑降低它的优先级，然后再提高它。所以这有点像一对函数调用："setdefaultpriority“和"improve priority”。我的问题是，在一个进程中

浏览 1提问于2017-04-01得票数 0

1回答

如何在另一个进程中运行一些python代码？

python、multiprocessing

我想从Python开始一些其他Python代码，最好是函数，但在中，另一个进程。兼容Python2.6-3.x

浏览 1提问于2011-06-15得票数 11

回答已采纳

1回答

python-3.x、multiprocessing

我正在尝试学习python中的多处理，但它在早期并不能正常工作。例如，在以下代码中：def train_func(): p1 = mp.Process(target=train_func)它似乎没有进入函数。这有什么错呢？

浏览 12提问于2020-06-03得票数 0

2回答

有没有一种方法可以将不同的函数应用到dataframe的每一行，其中特定列中的字符串值决定函数？

python、pandas

我有一个包含多列的数据帧。其中一列可以具有值'A‘或'B’。根据值的不同，我希望对每一行应用一个特定的函数。这在python中是可能的吗？如“A”应映射到函数A，“B”应映射到函数B。

浏览 19提问于2021-06-19得票数 0

1回答

__PYVENV_LAUNCHER__环境变量的含义是什么？

python、pip

我意外地注意到，当使用subprocess.Popen启动子进程时，分别将两个环境变量__PYVENV_LAUNCHER__和_设置为python解释器和脚本的路径。这两个变量似乎影响pip的行为。

浏览 2提问于2014-10-12得票数 7

回答已采纳

1回答

pyflink的内部结构

apache-flink、pyflink

我参考了下面所示的文章，这篇文章指导pyflink如何在python解释器和jvm上工作。用户用Python编写程序，解释器生成一个进程(进程1)，用于控制与JVM (Process 2)的连接，Process 1将生成流作业图，并通过套接字将其提交给JVM网关服务器。(流程4)下面是一个执行图，

浏览 2提问于2022-05-05得票数 0

1回答

在Windows上从Python打开默认查看器中的文件

python-3.x、windows、process、launch、viewer

从Python脚本启动文件，在图形查看器中查看输出文件，让python脚本在不关闭查看器的情况下完成，这是一种常见的用法。在基于Linux的系统(如Ubuntu )上，您只需使用os.system(f'xdg-open "{file}"')。然而，在窗口上，这是行不通的。在Windows上，人们建议使用start命令，但这需要通过cmd.exe (如os.system(f'cmd /k start "

浏览 2提问于2022-01-18得票数 0

1回答

如何从python中的本机代码中捕获运行时错误？

python、python-multiprocessing

如果发生任何崩溃，整个python进程就会崩溃。或者其他的想法？作为解决方

浏览 4提问于2020-10-23得票数 0

回答已采纳

2回答

如果线程在多对一映射中等待I/O，为什么进程会被阻塞

multithreading、operating-system

为什么使用用户级线程库的多线程进程在其中一个线程等待I/O时被阻塞？这是有道理的，但是当我想得更多的时候，一个问题就会跳出来。用户级线程库不能调度另一个线程吗？

浏览 0提问于2017-11-26得票数 0

1回答

如何在Linux上创建受控CPU负载？

python、linux、cpu

我想知道如何在Linux上使用shell或python脚本生成受控的CPU负载。所谓受控负载，我指的是创建一个消耗特定数量的CPU周期(例如，可用CPU周期的20% )的进程。我编写了一个python脚本，它执行一些虚拟计算，比如生成N个随机整数，并使用内置的排序函数对它们进行排序。我在Linux中使用了" time“实用程序来计算进程所消耗的用户和内核时间。但是我不确定

浏览 0提问于2016-03-18得票数 1

4回答

这是设计数据库的标准方法吗？

database-design、uniqueidentifier

最近，我了解了在工作中如何在数据库中定义关系，并想知道这是否是一个标准实践。TableProcessA:和Id现在，到目前为止，事情对我来说是有意义的，但是事情对我

浏览 0提问于2011-09-28得票数 8

1回答

在使用PySpark时，如何在Spark中实现Python数据结构？

python、python-2.7、apache-spark、pyspark

我目前正在自学Spark programming，并试图用PySpark重新编写一个现有的Python应用程序。然而，我仍然对如何在PySpark中使用常规Python对象感到困惑。我了解Spark中的分布式数据结构，如RDD、DataFrame、Datasets、vector等。Spark有自己的转换操作和动作操作，如.map()、.reduceByKey()来操作这些对象。但是，如果我在PySpark中创建传统的

浏览 34提问于2017-03-01得票数 1

回答已采纳

1回答

运行Python进程的配置文件内存使用情况

python、python-3.x、memory-leaks、profiling

我有一个Python进程，它在很长一段时间后开始泄漏内存(至少10个小时，有时更长)。这个问题很难重现，因此，当出现问题并以某种方式检查内存使用情况时，我希望附加到运行中的Python解释器，例如，获取当前分配内存最多的对象列表。对于通常的分析工具(如或 )来说，这是很困难的，因为它们需要成为代码的一部分，或者与进程一起启动，并且对运行时性能有很大的影响。我想要的是一个取样分析器，我可以简单地附加到现有的进程

浏览 3提问于2021-12-13得票数 3

2回答

如何在Linux CPU、内存和时间中监控进程

linux、memory、process、monitoring、cpu

如何在Linux中对进程进行基准测试？我需要一些像"top“和"time”放在一起为一个特定的进程名称(这是一个多进程程序，如此多的PID将被给予)？此外，我希望得到这些进程在一段时间内的内存和cpu使用率的图表，而不仅仅是最终数字。有什么想法吗？

浏览 1提问于2013-06-06得票数 9

回答已采纳

2回答

如何在pdb中的进程之间切换

python、pdb

我正在调试一个Python应用程序，它在某种程度上使用了os.fork()。计算完函数后，PDB仍然留在父进程中(我可以从函数的返回值中看到)。如何在PDB中子进程和父进程之间切换？

浏览 1提问于2012-09-01得票数 2

1回答

windows上的Python* conhost.exe CPU的使用*

python、windows、cpu-usage、windows-console

我正在Windows上运行Python脚本，我注意到即使Python进程占用8%的CPU，关联的conhost.exe进程也需要14%的CPU。有办法减少CPU消耗吗？(当然，除了优化代码之外)更新2:程序通过绑定使用C++包。C++包()对网络执行I/

浏览 1提问于2011-10-14得票数 3

回答已采纳

点击加载更多

Python :如何轻松地跟踪大包中的模块/函数定义

为什么多处理复制我的数据，如果我不碰它？

调试并行python程序中的IO失速(状态D)，低CPU高内存

快速检测远程进程退出/崩溃

频繁更改流程优先级是否会产生副作用

如何在另一个进程中运行一些python代码？