python在多进程处理时不保留数据
在多进程处理时，Python默认情况下不会保留数据。这是因为多进程是通过创建子进程来实现并行处理的，每个子进程都有自己独立的内存空间，数据无法直接共享。
为了在多进程处理中保留数据，可以使用进程间通信（Inter-Process Communication，IPC）机制。Python提供了多种IPC方式，包括管道（Pipe）、共享内存（Shared Memory）、消息队列（Message Queue）和信号量（Semaphore）等。
- 管道（Pipe）：通过创建一个管道，在父进程和子进程之间传递数据。可以使用
multiprocessing.Pipe()来创建管道对象，并使用send()和recv()方法发送和接收数据。 - 共享内存（Shared Memory）：通过在父进程和子进程之间共享内存空间来传递数据。可以使用
multiprocessing.Value和multiprocessing.Array来创建共享内存对象，并通过读写对象的值来传递数据。 - 消息队列（Message Queue）：通过创建一个消息队列，在父进程和子进程之间传递数据。可以使用
multiprocessing.Queue来创建消息队列对象，并使用put()和get()方法发送和接收数据。 - 信号量（Semaphore）：通过创建一个信号量，在父进程和子进程之间控制对共享资源的访问。可以使用
multiprocessing.Semaphore来创建信号量对象，并使用acquire()和release()方法控制访问。
这些IPC机制可以根据具体的需求选择合适的方式来保留数据。在使用多进程处理时，需要注意数据的同步和互斥，以避免数据竞争和不一致的问题。
对于多进程处理的应用场景，常见的包括并行计算、大数据处理、图像处理、视频处理等。通过利用多进程，可以提高程序的运行效率和处理能力。
腾讯云提供了一系列与多进程处理相关的产品和服务，例如云服务器（Elastic Compute Cloud，EC2）、弹性容器实例（Elastic Container Instance，ECI）、容器服务（Container Service，TKE）等。您可以根据具体需求选择适合的产品进行多进程处理。
更多关于腾讯云产品的信息，您可以访问腾讯云官方网站：https://cloud.tencent.com/
相关·内容
1回答
只有在多处理时才会占用大量内存
python、multiprocessing
我正在尝试使用python的多处理库，希望能获得一些性能。具体来说，我使用的是它的函数。现在，由于某些原因，当我将它与它的单进程对应物交换时，我没有得到高内存使用率。但是使用map的多处理版本会让我的记忆力达到顶峰。根据记录，我正在做的事情可以很容易地占用大量内存，但两者之间的区别会导致如此明显的差异吗？
浏览 0提问于2010-04-25得票数 5
回答已采纳
1回答
python在多进程处理时不保留数据
python、multiprocessing
下面的脚本执行以下操作：2)将df排序到一个对象列表中，多处理，以便每个内核将df的四分之一放入它们自己的列表中问题=列表是空的，就像没有在每个进程中调用get_car_terms函数一样，没有出现错误消息import psutilimport multiprocessing
浏览 12提问于2020-05-27得票数 0
1回答
如何根据可用内存确定批处理的大小？
python-3.x、python-2.7、memory、io
我需要读取一个任意大的文件，解析它(这意味着在执行此操作时将一些数据保留在内存中)，然后将该文件的新版本写入文件系统。考虑到内存限制，我需要以增量方式或批处理方式读取文件。我希望根据可用内存以及当前Python进程使用和保留的内存来确定批处理的大小。显然，我可以使用以下命令获取当前Python进程使用的内存 import osprocess = psutil.Proce
浏览 8提问于2019-09-26得票数 0
3回答
核心数据:避免在多对多关系中保留循环
core-data、memory-management、ios
我仍然在通过iOS开发和使用核心数据来学习我的方法，并且刚刚遇到了保留周期。我从阅读核心数据编程指南中了解到，在处理完关系之后，可以使用托管对象上下文方法refreshObject:mergeChanges来确保打破保留循环。假设我在一个部门和它的雇员之间有一个多对多的关系，在我的代码中我从部门访问了雇员关系，这是否意味着我现在需要遍历每个employee对象并调用refreshObject:mer
浏览 2提问于2010-10-21得票数 14
回答已采纳
1回答
理解为什么apache不断地重新启动我的webpy应用程序？
python、apache、mod-wsgi、restart、web.py
我对托管web应用程序有点陌生，但我有一个运行中的Python应用程序，它使用mod_wsgi部署在apache服务器上的webpy。它似乎运行得很好，只是在我使用这个应用程序时，apache似乎经常从零开始随机重新加载webpy应用程序(app.py)。谢谢!
浏览 1提问于2013-10-17得票数 0
回答已采纳
1回答
除非非活动超时没有设置，否则内存使用永远不会下降。
django、apache、wsgi、django-wsgi
site的一部分-启用/myproject.conf：当一个用户开始浏览网站时，使用的内存增加了8000万(来自free -m的输出)，即使用户注销并关闭浏览器，内存使用量也不会下降，除非运行service apache2当inactivity-timeout设置为60秒时，内存使用量将在注销后60秒下降。
我是ap
浏览 10提问于2016-12-12得票数 1
回答已采纳
3回答
在ubuntu中，在多个进程之间进行通信的最佳方式是什么？
process、ubuntu-16.04、python-3.5
我在python中有三种不同的机器学习模型。为了提高性能，我将它们并行运行在不同的终端上。他们通过文件相互通信和共享数据。这些模型正在创建批文件以供其他人使用。所有进程都是并行运行的，但依赖于其他进程准备的数据。一旦进程A准备了一批数据，它就会创建一个文件，向其他进程发出信号，表示数据已经就绪，然后进程B开始处理它，同时也在寻找其他批处理。如何在
浏览 0提问于2019-08-30得票数 0
回答已采纳
1回答
学习有关CPU使用和内存的n_jobs参数。
python、scikit-learn
在大多数关于scikit学习的估计器中，fit/predict方法中有一个D1/D2参数，用于使用joblib创建并行作业。这与将其设置为正整数>1完全不同，后者在大约100%的使用率下创建了多个Python进程。此外，在为大型数据集设置MemoryErr
浏览 0提问于2018-07-13得票数 19
2回答
服务临时队列UDP数据包
linux、networking、udp
我有一个运行在linux盒上的服务，它通过UDP接收相当恒定的数据包流。偶尔丢失或损坏与使用UDP相关的数据包是可以的。
但是，该服务正在积极开发中，并且经常得到更新。每次向它部署更新时，都必须重新启动它，所有在重新启动过程中到达的数据包都可能会被丢弃。而且，每一次都会有一个bug进入到生产中，从而使服务持续下降。在我的服务和传入的UDP数据包之间是否有一个相当简单的服务，如果服务可用，它只会通过数据包传递给服务，或者，如果服务因任何原因关闭，它会排队
浏览 0提问于2011-12-13得票数 3
1回答
python、信号阻塞、数据库
python、mysql、linux、sqlalchemy、signals
我有一个关于信号的问题，以及当有sql命令运行时如何处理它们。特别是，我有一个python脚本，它作为一个进程运行，并且在它内部正在创建另一个进程。当我向主进程(运行数据库检查的进程)发送term信号时，在该主进程中创建的第二个进程也应该终止。好吧..。当数据库检查正在进行NULLEGE属性更改时，这种情况一直都会发生。我的问题是:有没有一种方法可以在运行
浏览 3提问于2011-05-13得票数 2
回答已采纳
1回答
python中的python垃圾收集是自动的吗？
python
请让我知道python如何删除在python进程中运行的不需要的数据。
当python进程终止时，会自动删除吗？我有一个服务器进程，需要运行几个月，那么在这种情况下，它会为那些不需要的数据保留内存吗？
浏览 1提问于2016-12-21得票数 2
回答已采纳
2回答
在python中apache/modwsgi应用程序的内存模型？
python、apache、memory-management、mod-wsgi
例如，在用PHP编写的web应用程序中，所有变量/对象都会在脚本结束时被销毁，因此所有内容都必须写入数据库。
a)那么运行在apache/modwsgi下的python呢？
浏览 0提问于2011-09-03得票数 4
1回答
子进程的Python替代方法
python、background-process、child-process
我是Python的新手，我的任务是创建一个本质上作为“服务”或“守护进程”运行的程序。此过程将遍历一组文件，并查找要处理的新数据。如果没有找到任何东西，进程将休眠几秒钟，并重新检查文件。如果three是需要处理的文件中的数据，那么我想启动一个子进程来处理该特定文件和要处理的数据。如果存在另一个包含要处理的数据的文件，则启动另一个子进程，以便<em
浏览 10提问于2020-07-11得票数 0
7回答
如何在python worker中处理长时间运行的请求？
python、nginx、load-balancing、wsgi、reverse-proxy
我有一个python (现在是php，但我们正在重写)函数，它接受一些参数(A和B)并计算一些结果(在图中找到从A到B的最佳路径，图是只读的)，在典型的场景中，一次调用需要0.1到0.9s才能完成。目前的实现是相当愚蠢的-它是一个简单的php script+apache+mod_php+APC，每个请求都需要加载所有的数据(在php数组中超过12MB )，创建所有的结构，计算路径和退出。我想与N个独立的工人(每个服务器X与Y服务器)的设置，每个工人是一个python应用程序在</
浏览 0提问于2009-11-04得票数 3
1回答
gui中的多线程
python、multithreading
feeds.bbci.co.uk/news/rss.xml#,"
我正在使用Tkinter创建我的第一个图形用户界面程序，当我调用此函数时，最后一行cmdline.execute(url.split())将运行，然后在完成时关闭程序。master, text="Scrape", command=thread.start_new_thread(self.scrape, ()))，但问题是Tkinter将所有返回值绑定到命令参数
浏览 0提问于2014-09-02得票数 2
1回答
未更新跨多个进程的共享字典
python、python-3.x
range(5)))
# {0: True, 1: True, 2: True, 3: True, 4: True}
但是，使用multiprocessing.Pool时，
浏览 1提问于2019-05-08得票数 1
3回答
如何处理mod_wsgi/django中的阻塞IO？
django、apache、io、mod-wsgi
我在守护进程模式下的Apache+mod_wsgi下运行Django，配置如下：我的应用程序在后端执行一些my_django_view: return HttpResponse(content)
看起来，如果我正在处理超过2个处理这种IO的http请求，Django将简单地阻塞，直到前面的一个请求完成为止。也就
浏览 2提问于2010-08-24得票数 4
1回答
扭曲，ProcessProtocol如何接收标准输出w/o缓冲？
python、twisted、multiprocessing、buffering
我使用的是外部进程，它为处理的每个数据块写短的输出行。我想在每一条线路之后作出反应，不要再拖延了。然而，似乎.outReceived() of ProcessProtocol是缓冲的。Docs声明：
.outReceived(数据)：这与从进程的stdout管道接收的数据一起调用。管道倾向于以比套接字更大的块(一千字节是一个常见的缓冲区大小)提供数据，因此您可能不会体验到网络套接字典型的“随机点滴和单调”行为，但是无论您是否准备好在单个调用中获取所有数据</e
浏览 5提问于2012-03-29得票数 3
回答已采纳
1回答
当内存使用率过高时重新启动python脚本
memory-management、python-2.7
我有一个用python编写的服务器，当偶尔有某些输入进来时，它会使用大量的RES内存。让python脚本持续占用这么多内存是很烦人的，因为我们在同一台机器上运行了很多其他的东西。我做了一些研究，发现将这些内存释放回操作系统的唯一可靠方法是退出进程。因此，我希望能够重新启动python脚本，当它在处理每个输入后检测到自己使用了太多内存时。我尝试了以下技巧来重新加载进程，但发现进程在重新加载后仍然使用同
浏览 3提问于2012-12-13得票数 0
2回答
Psycopg2在大型select查询中耗尽内存
python、postgresql、psycopg2
我正在使用psycopg2查询一个Postgresql数据库，并试图处理一个大约有380M行的表中的所有行。只有3列(id1、id2、count)都是整数类型的。然而，当我运行下面简单的select查询时，Python进程开始消耗越来越多的内存，直到它被操作系统终止。我看了一下，Postgresql进程运行良好。它使用了相当多的CPU，这很好，而且内存非常有限。
我期望psycopg2返回一个迭代器，而不尝试缓冲select的所有结果。然后，我可以重复
浏览 0提问于2015-02-05得票数 21
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
