Python多处理队列非常慢
是因为在多进程环境下，Python的多处理队列（multiprocessing.Queue）使用了进程间通信（IPC）机制，而IPC的开销较大，导致性能下降。为了解决这个问题，可以考虑以下几个方面：
- 使用多线程队列：Python的多线程队列（queue.Queue）在多线程环境下性能更好，因为线程间通信（IPC）的开销较小。如果不需要跨进程通信，可以考虑使用多线程队列来提高性能。
- 使用共享内存：Python提供了共享内存（multiprocessing.shared_memory）的机制，可以在多进程间共享数据，避免使用进程间通信（IPC）机制。通过将数据存储在共享内存中，可以提高多处理队列的性能。
- 使用第三方库：除了Python自带的多处理队列，还有一些第三方库可以提供更高效的多处理队列实现，例如Celery、RabbitMQ等。这些库通常使用更高效的底层机制，可以提升队列的性能。
- 优化代码逻辑：检查代码逻辑是否存在性能瓶颈，是否可以进行优化。例如，可以考虑减少进程间通信的频率，合并多个操作为一个批量操作等。
总结起来，解决Python多处理队列慢的问题可以通过使用多线程队列、共享内存、第三方库以及优化代码逻辑等方式来提高性能。以下是腾讯云相关产品和产品介绍链接地址：
相关·内容
是否可以在中的每个任务级别上设置并发性(同时工作进程的数量)？我正在寻找更细粒度的CELERYD_CONCURRENCY (它设置整个守护进程的并发性)。
使用场景是:我有一个单独的celerlyd运行不同类型的任务，具有非常不同的性能特征-有些很快，有些很慢。对于某些实例，我希望尽可能快地执行更多操作，而对于其他一些实例，我希望确保在任何时候只有一个实例在运行(即：1)的并发性。
浏览 3提问于2012-02-07得票数 21
回答已采纳
1回答
Python +机械化异步任务
、、、、
所以我有一小段python代码，它运行在一个美味的页面上，并从页面上刮掉一些链接。extract方法包含一些魔术，可以提取所需的内容。然而，一个接一个地运行页面抓取是相当慢的--有没有一种方法可以在python中异步执行，这样我就可以启动几个get请求并并行处理页面？
url= "http://www.delicious.com/search?p=varun"
page = br.open(url)
html = page.read()
soup = BeautifulSoup(html)
extract(soup)
count=1
#Follows regexp match
浏览 0提问于2010-12-19得票数 1
回答已采纳
我正在编写一个连接的家庭设备(警报系统)，它可以接收来自移动设备的事件/消息(例如，拒绝警报的消息)。场景示例(就示例而言，移动设备是iphone )：
家中连接的设备发出警报并通知iphone (使用iOS推送通知，而不是防火墙)
iphone用户打开该应用程序，然后单击“拒绝”。
连接的设备收到“关闭”消息并停止报警。
我正在考虑使用firebase的实时数据库进行这种交互，因此iphone应用程序将设置一个db字段，而运行python的主设备(运行python)将订阅该字段并查看它是否已经设置。
问题是，这不是一个非常干净的实现，因为我需要家庭设备关闭解散字段后，它已
浏览 0提问于2016-05-26得票数 0
1回答
按照的建议，我使用的是随机数生成器。在用gcc -O3编译时，它在C中非常有效地工作。只需3.9秒即可生成10^9随机数。然而，当我用Python调用C函数时，它大约是慢的100倍。
下面是C代码：
#include <stdint.h>
static __uint128_t g_lehmer64_state = (__uint128_t)513543212345676543;
uint64_t lehmer64() {
g_lehmer64_state *= 0xda942042e4dd58b5ull;
return g_lehmer64_state >>
浏览 3提问于2020-08-12得票数 0
回答已采纳
直接来自Python
类multiprocessing.Queue(最大尺寸)
..。
qsize()返回队列的近似大小。由于多线程/多处理语义，这个数字是不可靠的。
如果队列为空，则返回True，否则为False。由于多线程/多处理语义，这是不可靠的。
我从经验中发现，对于Queue，尤其是empty()来说，这是非常正确的。
在我的代码中，我有一组进程(每个进程都是同一个主进程的子进程)，每个进程的run方法中都有以下内容：
while self.active:
if(self.exclusive_queue.empty() and self.exclusive_queu
浏览 2提问于2013-02-07得票数 12
这个问题是关于Python和Pythons多处理队列缓冲区限制的多进程，这些限制由我的计算机OS管道提供。基本上，我遇到了Pythons多处理队列缓冲区的限制。
这里是我到目前为止所拥有的的简单实现
import os
from multiprocessing import Queue,Lock,Manager
def threaded_results(q,*args):
"""do something"""
q.put(*args)
def main():
manager = Manager()
return_
浏览 4提问于2021-07-12得票数 1
回答已采纳
这是我的场景。我正在从外部数据源获得大量的chuck数据，我必须在两个地方本地编写它。其中一个目的地的写入速度非常慢，而另一个目标的速度非常快(但我不能依赖它来读取和写入慢速目的地)。为此，我使用了生产者-消费者模式(使用BlockingCollection)。
我现在面临的问题是，我必须在两个BlockingCollection中对数据进行排队，这占用了太多的内存。我的代码看起来与下面的示例非常相似，但是我真的很想从一个队列中驱动这两个任务。有人知道怎么做才是正确的吗？下面的代码中有没有效率低下的地方？
class Program
{
const int MaxNumberOfWor
浏览 3提问于2012-06-29得票数 0
我正在使用Python脚本处理大型CSV文件(大约几GB，10M行)。
这些文件的行长不同，无法完全加载到内存中进行分析。
在我的脚本中，每一行都由一个函数单独处理。分析一个文件大约需要20分钟，看起来磁盘访问速度不是问题，而是处理/函数调用。
代码看起来像这样(非常简单)。实际代码使用的是Class结构，但这是类似的：
csvReader = csv.reader(open("file","r")
for row in csvReader:
handleRow(row, dataStructure)
假设计算需要一个共享的数据结构，那么在使用多核的Pyt
浏览 0提问于2011-12-08得票数 22
回答已采纳
2回答
我有一个文件，里面有很多数据。每一行都是记录。我正试图对整个文件做一些ETL工作。现在，我正在使用标准输入逐行读取数据。最酷的一点是，您的脚本可以非常灵活地与其他脚本和shell命令集成。我将结果写入标准输出。例如。
$ cat input_file
line1
line2
line3
line4
...
我当前的python代码如下所示- parse.py
import sys
for line in sys.stdin:
result = ETL(line) # ETL is some self defined function which takes a while to
浏览 5提问于2013-08-21得票数 5
回答已采纳
3回答
我正在开发一个独立的java应用程序，它通过网络从大约1000个测量设备收集数据，并将数据保存到数据库中。由于设备输出速度慢和/或网络速度慢，每个设备的数据收集可能需要几分钟。数据收集必须在特定的时间窗口内进行，因此我需要并行工作。
我的方法是每个测量设备创建一个线程，将数据放在队列中，并在队列转换的另一端拥有一个或多个其他线程，并将数据持久化。
这是一个可行的方法吗？一台现代化的机器能处理这么多的线程和网络连接吗？这有多大的可伸缩性，在什么时候我需要在几台机器上工作呢？
如果您能就您推荐的并发类(例如，什么样的队列、ThreadPoolExecutor等--我还没有使用java.util.c
浏览 2提问于2012-05-31得票数 1
回答已采纳
1回答
我是线性规划和矩阵处理的原型数值算法，具有非常大的(100000×100,000)非常稀疏(0.01%填充)复杂(a+b*i)矩阵的对称结构和非对称值。七年来，我一直很高兴地使用MATLAB，但由于Python是开源的，所以一直收到关于改用Python的建议。
我知道有许多不同的Python数值包可用，但是Python对于处理这些类型的矩阵和高速实时解决线性优化问题有什么限制吗？Python的稀疏复矩阵求解器在速度上与MATLAB的反斜杠A\b操作符相当吗？(我编写了高斯码和LU码，但A\B总是比我尝试过的任何东西至少快5倍，并且与矩阵大小成线性比例。)
浏览 3提问于2016-09-05得票数 0
回答已采纳
我正在编写一个带有多个多线程进程的非常复杂的软件。因为其中之一，我需要实时功能(基本上是为了健壮性)，我为Xenomai修补了我的目标内核，并使用Xenomai的原生皮肤编写了它的程序。
现在我需要通信两个进程:一个运行实时任务，另一个运行简单的线程(后者在没有Xenomai的实时库/皮肤的情况下编译)。
我的问题是:我能以某种方式沟通他们吗？例如，我是否可以创建一个共享内存对象(shm_open)并共享互斥，即使其中一个位于RT环境中？
如果答案是肯定的，我是否应该使用Xenomai的POSIX皮肤？
如果答案是否定的，我如何安全地共享数据/通信？命名管道是我唯一能想到的办法.
浏览 6提问于2013-11-07得票数 0
SNS问题
我目前正在为SNS使用python 库(例如创建主题、订阅主题、发送SNS到主题)。当我使用或时，我必须指定一个区域(例如'us-west-2'，'us-east-1')。我没有看到任何处理区域故障转移的内置选项。我的问题是，您如何为高可用性/区域故障转移设置AWS SNS和SQS？
import boto3
client = boto3.client('sns', region_name='us-west-2')
response = client.create_topic(Name='my_new_top
浏览 2提问于2016-09-08得票数 8
回答已采纳
3回答
我希望编写一个守护进程：
从队列中读取消息(sqs、兔子-mq，任何.)包含指向zip文件的路径。
更新数据库中的一个记录，上面写着“这个作业正在处理”
读取上述存档的内容，并将一行插入到数据库中，为找到的每个文件从文件元数据中筛选出信息
将每个文件复制到s3
删除zip文件。
将这项工作标记为“完成”
在队列中读取下一条消息，重复
这应该以服务的形式运行，并且在某人通过web前端上传文件时由排队的消息发起。上传者不需要立即看到结果，但上传在后台处理相当方便。
我非常熟悉python，所以首先想到的就是编写一个简单的服务器，它可以处理每个请求并执行上面提到的
浏览 9提问于2009-04-16得票数 2
回答已采纳
我将使用TFRecord编写文件：
writer = tf.python_io.TFRecordWriter(output_filename)
print("Creating TFRecords file at {}...".format(output_filename))
for i, row in enumerate(create_csv_iter(input_filename)):
x = example_fn(row)
writer.write(x.SerializeToString())
writer.close()
问题是这个过程非常慢，
浏览 3提问于2016-08-30得票数 10
3回答
好吧，我的问题如下。我有一段在多个虚拟机上运行的代码，每个虚拟机都有N个接口(每个接口一个线程)。问题本身就是在一个接口上接收消息，然后以最快的方式通过另一个接口重定向该消息。
我所做的是，当我在一个接口(单播)上收到一条消息时，计算我想通过哪个接口重定向它，用我创建的函数保存关于该消息的所有信息(数据报和所有我想要的额外信息)。然后，在下一次迭代中，程序检查是否有新的消息要重定向，以及读取它的接口是否正确。以此类推。但这使得程序交换信息的速度非常慢。
有没有什么机制可以加快速度呢？
浏览 3提问于2012-03-16得票数 0
回答已采纳
3回答
我刚刚继承了一个使用生产者-消费者模式的c# 4.0 WinForms应用程序(基本上只是一个小仪表板)。我的使用者任务(字面意思是System.Threading.Tasks.Task)是处理队列中的数据。当用户想要关闭应用程序时，生产者( TCP套接字服务器)会立即停止。但是，队列可能不是空的，所以我需要让用户选择是立即退出，还是在使用者任务处理完所有排队的数据后立即退出。如果用户想要等待使用者任务完成，UI自然需要保持响应。我遇到的问题是，由于退出应用程序的代码驻留在“退出”按钮的单击事件处理程序中，因此在单击事件处理程序内部时，我可能需要等待使用者任务完成。简而言之，事件处理程序包含以
浏览 0提问于2011-04-11得票数 0
回答已采纳
我正在开发一个应用程序，它需要不断地测试1000的代理服务器。该应用程序基于Spring。
我使用的当前方法是@异步修饰方法，它接受代理服务器并返回结果。
我经常收到OutOfMemory错误，处理非常慢。我认为这是因为每个异步方法都是在一个单独的线程中执行的，哪个线程在I/O上阻塞？
无论我在哪里读到关于Java异步的文章，人们都会将并行执行与非阻塞IO混为一谈。在Python世界中，有一个异步库，它在一个线程中执行I/O请求。当方法正在等待来自服务器的响应时，它将开始执行其他方法。
我认为在我的情况下，我需要这样的东西，因为Spring的@异步不适合我。有人能帮我消除我的困惑，并建议我该如
浏览 0提问于2019-02-21得票数 5
回答已采纳
我有一个服务器应用程序，它将股票报价分发给我们内部网络上的许多客户端。随着客户端数量的增加，服务器和客户端之间的单播(TCP)连接不再扩展。因此，我一直在研究多播节目。
由于IP组播固有的不可靠性，我一直在研究可靠组播，并发现了实用通用多播。比如NAK抑制、前向纠错等听起来就像我需要的东西，在使用原始UDP时必须实现自己。
在将关键任务应用程序转换到此协议之前，有以下几个问题：
PGM的使用范围有多广？在堆栈溢出、服务器故障或新网络工程堆栈交换站点上，它的点击次数不多。RFC是从2001年开始的，微软研究网站上的纸是从2003年开始的。为什么这个标准还没有被采纳呢？
微软实现PGM的可行性有多
浏览 0提问于2013-08-06得票数 7
回答已采纳
我是脚手架我的后端应用程序，我想用它使用CQRS和rabbitmq (我对rabbitmq非常陌生)。为此，我为我的prod和dev环境指定了不同的vhost，但我不知道如何为命令、事件和查询总线使用exchanges和 query 。
我应该只使用one exchange (例如CQRS )和用于命令、查询和事件的三个不同队列()。
或者我应该使用三种不同的交换(名为query_bus、command_bus和event_bus)，在每个内部使用路由键将一个队列映射到每个可能的命令查询和事件
谢谢!
浏览 1提问于2021-05-10得票数 0
回答已采纳
1回答
我已经阅读了官方芹菜的，DigitalOcean的，并运行了非常好的。但我不能理解我的应用程序如何像在Resque Ruby中那样进行通信。例如，我在docker容器中有主要的python应用程序，它必须为其他容器中的其他2个python应用程序生成任务。在Resque中，我的应用程序只是监听一些队列并接收任务，然后做一些工作并推送响应。
浏览 3提问于2016-11-30得票数 3
1回答
我对tensorflow中非常慢的批处理加载有一个问题。训练中的每一步都相当快，但我加载数据的功能却非常慢。
我想知道是否有任何方法可以让它更快，或者在列车运行时在后台运行它，以便在一个步骤完成时可以准备好批处理。
我的特征存储在numpy数组中。
有什么想法吗？这是我的代码。
def test_loadbatch(no_timesteps,list_of_file_paths,batch_size):
nof=no_timesteps# No of combined
files=list_of_file_paths
files=shuffle_list(files)
浏览 0提问于2016-07-07得票数 0
假设我在一个循环中使用Process()启动了10个进程，但是我只有8个可用的内核。python是如何处理这个问题的？
浏览 3提问于2016-10-11得票数 4
回答已采纳
我有一个Python类，它向用户公开一个API put_msg_to_queue。此API将字符串消息放入队列。Singleton Tester类创建一个线程，该线程获取消息并只打印它。
下面给出了使用的完整代码。这段代码在Python 3.9.12中运行得很好，但似乎与Python 3.9.14完全不同。当进程退出时，queue.get API将抛出OSError。
除了处理这个异常(下面给出的注释掉的代码)之外，请建议如何用新的python版本来调整这段代码。
可能是中提到的以下更改导致了行为上的这种更改。
在最后一次将缓冲数据写到管道的写入端之后，始终关闭multiprocessing
浏览 29提问于2022-10-27得票数 0
我注意到电唱簿上有下面的脱口而出：
刷新完整队列的最佳方法是使用类似于这样的命令行：/usr/sbin/sendmail -OQueueSortOrder=filename -q10m -d99.100 /usr/sbin/sendmail -OQueueSortOrder=random -q10m -d99.100←V8.12和更高版本的/usr/sbin/sendmail -OQueueSortOrder=none -q10m -d99.100←V8.13，-d99.100告诉sendmail在前台运行(以便在完成时可以轻松地杀死它)。-q10m使队列处理守护进程每10分钟启动
浏览 0提问于2017-06-15得票数 1
回答已采纳
我在兔子messages中使用ServiceStack，发现通过ServiceController.ExecuteMessage处理程序处理的服务消息是用两个线程处理的，即使"noOfThreads = 1“。下面是我注册处理程序的方式：
container.Register<IMessageService>(c => new RabbitMqServer());
var mqServer = (RabbitMqServer)container.Resolve<IMessageService>();
mqServer.RegisterHandler<
浏览 2提问于2014-08-12得票数 1
1回答
我有这段代码，它连接/组合了一组图像。因为我的图像收集非常大(大数据:-)，所以我想将这个顺序代码重新组织成一个并行/分布式应用程序。我正在考虑Map/Reduce，但不确定这在Map/Reduce下是否可行。
#Sequential Code
Result.Image <- NULL
foreach(Image in Image.Collection) {
Result.Image <- CombineImage(Result.Image, Image)
}
注:顺序并不重要；合并图像1、2、3、4、5与合并图像2、3、1、4、5一样好。
理想情况下，我会喜欢这样的东西(看
浏览 0提问于2013-07-12得票数 0
回答已采纳
我需要用非常精确的时间(毫秒的顺序)刷新一些图像，为此我开发了QGLwidget的一个子类。图像在初始化时作为纹理加载。我正在使用一个QTimer实例来更改正在显示的图像。定时器的timeOut信号连接到一个timeOutSlot，它执行一些文件I/O，然后调用updateGL()。
虽然我知道事件处理程序用于外部事件，而信号/插槽用于图形用户界面内部的通信，但我也可以将其实现为timeOutEvent处理程序。
这两者之间有什么性能差异吗？任何超过2-3毫秒的性能损失对我来说都很重要(硬件一般，比如配备nVidia 8600M GT显卡的英特尔酷睿2双核T5700 )。
浏览 2提问于2011-09-11得票数 0
回答已采纳
我们在一个单独的盒子上安装了大量的django。每个代码库都有自己的代码库& linux用户。
我们用芹菜做一些异步任务。
每个装置都有自己的芹菜装置，即自己的芹菜和工人。
每次安装异步任务的数量是有限的，而不是时间限制的.
当一个工作人员启动时，它需要大约30 it的内存。当它运行了一段时间后，这个数量可能会增加(大概是由于碎片的缘故)。
最后一个公告已经(有些)通过设置解决了--maxtasksperchild到一个较低的数目(例如10)。这确保了在完成10项任务后重新启动，在此之后，内存至少会返回到30 to。
然而，每个celeryd仍然占用大量内存
浏览 5提问于2013-12-22得票数 4
1回答
如何缓存实时数据？
、、、
我正在开发一个windows应用程序(.NET 4.0)。
我的表单包含一个“快速线”图表，它使用VS2010中包含的Microsoft图表控件。
图表中包含了大约20,000个数据点。
然后，我的应用程序开始通过DDE (动态数据交换)实时从服务器接收市场数据，并将其添加到图表中。
注意：我无法控制服务器，所以我只需要处理DDE，尽管它是一种过时的技术。VS不再支持DDE了，所以我使用了库，它工作起来很有魅力。
首先，我们连接到服务器，创建一个通知循环，然后订阅OnAdvise事件来接收新数据的通知：
Dim client As DdeClient = New Dde
浏览 3提问于2011-05-10得票数 2
回答已采纳
2回答
我正在尝试用python编写一个多线程服务器，它可以接收多个客户端请求，然后在UDP数据包(端口53)中发送答案。我想知道是否所有这些线程都可以同时使用53。非常感谢(这个问题可能看起来很傻，我是个初学者)
浏览 1提问于2010-12-07得票数 1
我正在使用concurrent.futures.ProcessPoolExecutor并行运行python代码。基本上我所做的就是 with concurrent.futures.ProcessPollExecutor(max_workers=10) as executor:
futures = {executor.submit(my_function, i)
for i in range(n)}
for fut in concurrent.futures.as_completed(futures):
print(fut
浏览 61提问于2021-09-19得票数 1
1回答
在我的Linux系统中，我看到了以下内容：
# ip link list
....
2: eth2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT qlen 1000
....
qdisc mq是什么？在http://lartc.org/lartc.html中，我只找到有关IMQ的信息。
在指南中的示例中也有qdisc noop和qdisc noqueue，但没有关于它们的详细信息。
浏览 0提问于2013-01-31得票数 5
回答已采纳
我正在测试一个(AWS SQS)基于队列的系统。注入到队列中的单个消息将启动事务的工作流。消息处理程序处理此消息，然后将消息发送到另一个队列。另一个处理程序处理该消息，并将消息发送到下一个队列。为了简单起见，您可以假设它是一个连续的队列和消息处理程序序列。我在最后一个队列中监视事务，并可以记录它是否成功地按时完成。
我有一个负载测试系统，它将每秒事务处理速率(TPS)提高到测试系统中，直到故障数超过某一水平为止，在这一点上，我可以声明我已经找到了我的最大负载。
现在对于压力测试部分，我增加超过最大负载的TPS，看看系统是如何反应的。理想情况下，随着越来越多的消息无法按时完成，我预计成功事务的数
浏览 0提问于2020-07-07得票数 1
我有一个有多个线程的python程序。每个线程都会检测事件，我希望将它们存储在某个地方，以便可以再次读取它们(用于测试)。现在，我使用Pickle输出事件，每个线程输出到不同的文件。理想情况下，我应该只使用一个输出文件，并且所有线程都将写入该文件，但是当我尝试这样做时，它看起来像是不同的线程试图同时写入它们的输出，并且它们没有被正确地筛选出来。有没有办法做到这一点？
浏览 1提问于2011-09-22得票数 5
回答已采纳
我有一个函数，它接受一个url列表，并为每个url添加一个标题。url_list可以是大约25,000个长列表。所以，我想使用多进程。我尝试了两种方法，但都失败了：
第一种方式- url_list没有传递correctly...the函数只获取url_list url的第一个字母'h‘：
headers = {}
header_token = {}
def do_it(url_list):
for i in url_list:
print "adding header to: \n" + i
requests.post(i, headers=h
浏览 2提问于2013-08-28得票数 0
我正在一个基于超级分类器的应用程序上进行性能测试。为了提高吞吐量，我更改了通道的BatchTimeout值。有谁能解释一下为什么当负载较高时，gossip_payload_buffer_size度量会增加到41？当负载很低时，它是0。只有当我更改了通道的BatchTimeout的默认值时，才会发生这种情况。
浏览 3提问于2022-10-05得票数 -1
我对一些关于目标C的东西很好奇。例如，下面的代码行：
[obj method:argument];
它类似于发送通过提供的消息吗？或者：
SendMessage(obj, method, argument, NULL);
我很好奇，因为我非常精通C/C++和Windows Win32，但我只是在学习目标C，我正在努力理解它的Win32。也就是说，如果它类似于SendMessage在Windows中所做的事情，如果是这样的话，在Objective中这样的“调用”方法对于C/C++来说可能比较慢。我说错了吗？
浏览 3提问于2014-06-26得票数 1
回答已采纳
1回答
我使用urllib2下载相对较大的文件(每个10MB)，然后将其作为json文件加载，并将数据插入到mysql数据库中，然后在无限循环中重复此过程。下载大约需要一分钟，然后将所有内容加载到mysql中。有没有办法创建一个线程，当主线程使用python插入到mysql中时进行下载？
我的伪代码：
while 1:
download file with urllib2
decode as json file
extract data I want
do some computations on data
insert data into mysql
非常感谢!
浏览 2提问于2012-01-19得票数 2
回答已采纳
1回答
我正在开发一个Magento2网站，目前一切都很顺利，除了一个我无法解决的随机问题。
该网站正在使用清漆，所有网页都有一个清漆缓存命中，有一个非常低的TTFB大约30 is和低内容下载(约40 is)。
但随机的，下载时间增加到超过2秒，在下一页访问它将下降到正常的40毫秒。
所有浏览器都有相同的问题，而不是浏览器问题。
有人会有主意吗？
非常感谢
浏览 1提问于2022-05-21得票数 0
1回答
我有一个Python烧瓶API，它可以在对象上应用一些基于SQL的筛选。
API工作流的步骤：
argumentsapply 接收POST请求(带参数)，运行多个store查询(针对postgres )，这取决于发布的一些简单的“纯”规则，以获得布尔结果，存储布尔结果，并在postgres 中存储相关的POST参数，返回布尔结果<code>F 213</code>
API：的缺陷：
API需要返回150 as以下的布尔答案，我可以异步地将布尔结果存储在DB中，以避免在返回布尔resultHowever之前等待写查询完成，并且正如所解释的那样，布尔答案取决于SQL读取查询
浏览 2提问于2021-10-12得票数 0
回答已采纳
1回答
我正在尝试配置Python日志记录框架，以处理来自multiprocessing.Pool的多个进程的消息。在大多数情况下，脚本将无限期地挂起，尽管已经观察到一些其他行为，例如在不打印所有日志消息的情况下退出。
我的实际代码更复杂，但我已经将其简化为以下脚本，该脚本在我测试过的计算机上相当可靠地中断。
#!/usr/bin/env python3
import logging
import logging.handlers
import multiprocessing
import multiprocessing.util
L = logging.getLogger(__name__)
浏览 6提问于2020-05-28得票数 5
我对集成框架非常陌生。我有一个spring message listener，它接收股票的更新( S1，S2，S3 ...)。相同股票的更新需要按顺序处理，而不同股票的as更新应该并行处理。 例如，如果更新序列是S1-1、S1-2、S2-1、S1-3、S3-1、S2-2、S1-3、S3-2。那么应该有三个并行的处理流 S1-1、S1-2、S1-3 S2-1、S2-1 S3-1、S3-2 请注意，这样的股票可能有数千只。 目前，我正在使用通道上的executor并行处理所有内容。我怎样才能达到我的要求。请给我建议。谢谢。
浏览 12提问于2020-06-22得票数 2
我需要通过多进程运行一系列独立子进程调用。我事先知道，其中一些作业的运行速度会比其他作业慢几个数量级。为了有效地利用处理器时间，我认为先对慢的作业进行排队是有意义的。通过这种方式，我希望避免出现这样的奇怪情况，即一个长时间运行的作业最后被调度，而其余的处理器处于空闲状态。在这种特殊情况下，实际结果是否按顺序产生并不重要(因为各个进程创建的文件只在所有进程完成时使用)。不过，重要的是首先/优先调度速度较慢的作业。我的第一个问题是，我如何实现这一点？
即使在阅读了和之后，我仍然有点困惑。因此，我的第二个问题是:在这种情况下，我应该使用Pool.map()而不是Pool.map_async()，还是
浏览 2提问于2014-02-01得票数 1
1回答
冗余周期任务执行
、、、
我的服务器系统需要每分钟运行一次任务集。执行这些任务非常重要(一些小延迟可以，但不能执行两次)，所以我需要以一种冗余的方式构建执行系统，即使单个服务器停止响应也能存活下来。从架构/系统组件的角度来看，我一直在寻找这方面的一些最佳实践，但似乎找不到合适的地方。
问题简化了。
发送通知电子邮件会议即将开始的所有我的用户，有一个日历与预订的会议在我的系统。-会议可在任何特定时间开始。-通知应始终在开会前10分钟发出--同一通知不应发送两次--服务器停止响应(或需要更换或更新)。
我一直在研究管理，但它似乎更适合于具有定义的开始和结束的任务。
我的系统目前运行在、.NET和C#中。
有谁有什么建议吗？
浏览 1提问于2013-11-18得票数 0
回答已采纳
1回答
我有一个棘手的问题，我不确定如何解决。假设我们有10个作业(N=10)和4个worker (num_threads=4)，我需要找到一个函数，它可以为这些worker中的每一个分配开始索引，使得任何worker完成的作业都不会超过或少于2个。作为一种简单的方法，我使用了start_index = rank * N/num_threads公式，但这会产生不平衡的结果(第四个线程只有1个作业，而前3个线程有3个作业)。任何在正确方向上的推动都将是非常感谢的！
浏览 20提问于2020-11-19得票数 0
1回答
在通过OpenMP并行化C++代码后，我现在正在考虑使用图形处理器( Radeon Pro Vega )来加速我的代码的特定部分。作为一名OpenCL新手，我目前正在寻找能够展示如何实现多核CPU - GPU交互的示例。 这是我想要实现的目标。假设有一个固定的短长度数组，例如{1,2,3,4,5}，作为练习，您想要计算此数组的所有可能的“右移位”，即， {5,1,2,3,4}
{4,5,1,2,3}
{3,4,5,1,2}
{2,3,4,5,1}
{1,2,3,4,5} 。 相对的OpenCL代码非常简单。 现在，假设你的CPU有许多核心，比如说56个，每个核心都有一个不同的起始数组，并且在
浏览 45提问于2020-09-07得票数 2
回答已采纳
我在Windows中使用Python3.5.2 (x64)。
我正在用大块读取二进制数据(按兆字节的顺序)，并希望将这些数据高效地共享到'n‘并发Python子进程中(每个进程将以一种独特和计算上昂贵的方式处理这些数据)。
数据是只读的，在完成所有子进程之前，每个顺序块都不会被视为“处理”。
我关注共享内存(数组(锁定/解锁)和RawArray)：将数据块从文件中读取到缓冲区非常快，但是将该块复制到共享内存的速度要慢得多。
使用队列，相对于共享内存，将有大量冗余数据复制。我选择共享内存，因为它涉及数据的一个副本和'n‘副本)。
在体系结构上，如何在Python3.5中有效地处理
浏览 3提问于2016-10-30得票数 0
回答已采纳
我很难理解如何创建同步NSOperationQueue。我创造了一个原型，基本上说：
创建4个很长或很短才能完成的操作
无论何时完成，它们都应该按照队列中创建的顺序完成。
我的NSOperation类非常简单：
class LGOperation : NSOperation
{
private var operation: () -> ()
init(operation: () -> ())
{
self.operation = operation
}
override func main()
{
浏览 4提问于2015-08-21得票数 0
我使用F4实例(因为内存需要)和自动调度来执行一些后台处理。它是从任务队列运行的。每次调用都需要40到60岁的时间。由于内存需求很高，每个实例一次只能处理一个请求。
需要采取的行动并不紧迫。如果不能安排30分钟，那就没问题了。即使是60分钟也是可以接受的，我宁愿利用这段时间，也不愿编造更多的例子。但是，如果该服务变得流行，并且每小时收到的请求超过60个，我希望使用更多的实例，以确保等待时间不超过60分钟。
我很难弄清楚如何配置实例和队列参数，以降低成本，但能够以这种方式进行扩展。我最初的想法是这样的：
<queue>
<name>non-urgent-queue
浏览 0提问于2018-03-06得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
