腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
线程
池
Python
在
芹菜
作业
中
的
未来
似乎是
阻塞
的
、
、
这是
python
3.9和Django 3.2,
在
docker
中
运行。 我正在尝试
在
一个
芹菜
作业
中
运行一个期货
池
,其中
的
池
是一个ThreadPool。我允许50名工人,这已经足够了。
芹菜
在
一个码头容器
中
运行。期货是
在
循环中创建
的
。该循环从速率受限
的
API读取多个页面,并将数据写入到表
中
。<em
浏览 26
提问于2021-08-09
得票数 0
1
回答
Spring WebFlux创建无
阻塞
线程
池
。
、
我决定在Java上重写我
的
web应用程序(以前是
在
Python
上)。
在
我
的
应用程序
中
,我使用了非
阻塞
I/O,我有工作
池
(
芹菜
+ Eventlet
线程
),在那里我传递由数百个API调用组成
的
任务。现在我正在使用Spring WebFlux,但是我不明白如何创建一个工作
池
来将我
的
任务传递给这个
池
,并且
在
得到结果之后进行一些
浏览 0
提问于2017-12-28
得票数 2
回答已采纳
2
回答
如何阻止
Python
我有一个
线程
池
,我想不仅限制工作人员
的
最大数量,而且限制可以同时提交到
线程
池
的
最大
作业
数。限制
作业
的
原因是因为
作业
的
生成比
线程
池
工作人员所能执行
的
要快得多,而且它可以迅速耗尽所有可用内存。我想如何与“
阻塞
”
线程
池
进行接口: with ThreadPoolExecutor(max_workers
浏览 12
提问于2022-01-06
得票数 0
回答已采纳
1
回答
使用Celery、RabbitMQ和statsmodel永远挂起
的
任务
、
、
我正在尝试使用RabbitMQ
中
的
芹菜
来分发一些线性回归任务。使用示例add(x,y)函数可以很好地进行设置,但是当我实例化statsmodels OLS类时,例如工作进程
在
消耗100%
浏览 0
提问于2013-06-25
得票数 1
回答已采纳
6
回答
芹菜
工人数据库连接
池
、
、
、
我用
的
是单独
的
芹菜
(不是
在
Django内)。我计划在多台物理机器上运行一个工作任务类型。该任务执行以下操作 使多个数据库读写。我使用
的
是PostgreSQL,但这同样适用于使用连接
的
其他存储类型。在过去,我使用数据库连接
池
来避免
在
每个请求上创建一个新
的
数据库连接,或者避免将连接打开太长时间。然而,由于每个
芹菜
工人在一个单独
的
过程
中
运行,我不知
浏览 6
提问于2013-01-25
得票数 53
2
回答
有什么办法能在一分钟开始
的
时候运行一个程序吗?
1:30,1:20:00,1:19:00小时,分钟,秒)有许多类似的问题,但它们没有将程序链接到指定
的
时间,而不仅仅是60秒间隔
的
情况。其他解决方案则采用其他语言。这个问题有什么
python
的
解决方案吗?
浏览 0
提问于2020-06-11
得票数 0
回答已采纳
1
回答
线程
池
返回
的
不可取消
的
未来
。它们存在吗?
、
、
、
、
我目前正在实现一个
在
并发设置
中
工作
的
服务,它有一堆
阻塞
方法作为操作。有什么简单
的
方法可以让
线程
池
返回不可取消<em
浏览 1
提问于2015-08-23
得票数 0
3
回答
带有期货
的
Scala
中
的
异步IO
、
、
、
假设我从一些URL下载了一个(可能很大
的
)图片列表。我正在使用Scala,所以我要做
的
是:val urls: List[String如果我有100个映像要下载,这是一次创建100个
线程
,还是使用
线程
池
? 谢谢你
的
建议!
浏览 4
提问于2012-10-27
得票数 68
回答已采纳
1
回答
使用Java
中
的
执行器
的
串行调度队列?
、
、
、
我需要在Java
中
管理大量
的
串行调度队列。每个引擎模块都需要一些引擎模块来管理自己
的
运行循环(其中一些模块可能很快完成,另一些模块可能会
阻塞
很长时间)。提交给每个引擎
的
作业
必须按顺序运行。理想情况下,每个引擎都有一个
线程
池
,该
线程
池
在
0到1个
线程
之间进行伸缩,使得ExecutorService既可以是串行
的
,也可以在有数百个
线程
的</em
浏览 2
提问于2017-04-03
得票数 1
回答已采纳
2
回答
线程
池
与多个单独
的
线程
、
、
、
、
首先,我为每个组创建了一个专用
线程
,它将从
作业
队列
中
获取数据,对其进行处理,然后进入
阻塞
状态(使用链接
阻塞
队列)。但是我
的
前辈建议我应该使用
线程
池
,因为这样
线程
不会被
阻塞
,并且可以被其他组使用来处理。 但问题是,即时消息获取
的
数据足够快,
线程
处理数据所需
的
时间足够长,可能不会进入
阻塞
模式。这还将保证数据按顺序处理(
作业
1
浏览 0
提问于2012-07-28
得票数 8
回答已采纳
1
回答
带有
线程
池
的
Java Http客户端请求
、
、
、
、
线程
池
执行器使用用于
未来
任务
的
线程
数。它至少分配一个
线程
,直到run()或调用()返回为止。2)由于
线程
不会
阻塞
IO,它们将退出run/call方法。然后谁负责调用他们
的
处理程序。我
的
问题是如何使用基于Java
的
HTTP客户端请求和
线程
<
浏览 1
提问于2013-05-16
得票数 0
1
回答
坚持所有
作业
都会在
芹菜
中
形成单独
的
数据库。
、
当前,
作业
被添加到发布/子队列
中
,并由各种工作进程处理。然后,这些工作人员将pub/sub消息发送回侦听器,侦听器将状态/结果存储
在
postgres数据库
中
。我正在寻找使用
芹菜
来简化事情,并允许更容易
的
缩放。 使用celery_app.send_task,提交工作和获得结果并不是
芹菜
中
的
问题。这方面的主要限制
似乎是
db连接
池
限制,因为
在
某些情况下,辅助
浏览 0
提问于2021-04-28
得票数 1
回答已采纳
1
回答
我可以触发&忘记提交给
线程
池
的
可调用项吗?
、
、
、
在
我
的
Python
3应用程序
中
,我必须处理许多不应该
阻塞
主
线程
的
小型(同时) I/O任务,因此我想使用
线程
池
: from concurrent.futures import ThreadPoolExecutor这很好,
作业
是在
线程
池
的
线程
中提交和启动
的
,任务执行它们应该做
的
事情。现在,在读取时,这个
浏览 5
提问于2020-09-17
得票数 1
回答已采纳
2
回答
优先生产者和消费者
、
用例是-不同
的
作业
集,分为3种类型,进入
阻塞
队列,有3个
线程
或一个
线程
组用于消费。队列
中
的
作业
CT1、CT2、CT3CT1流程A1-
作业
CT3进程c1-cn
作业
浏览 2
提问于2014-05-15
得票数 0
1
回答
芹菜
启动命令行
中
的
gevent小片
的
数量是多少?
、
、
对于gevent
池
,我们可以使用参数'-c‘来指定绿灯号。如下所示。celery worker -A celerytasks.celery_worker_init -P gevent -c 1000 --loglevel=info 但它
的
固有价值是什么呢?
浏览 2
提问于2016-05-24
得票数 4
回答已采纳
1
回答
事件驱动
线程
创建
、
、
、
我一直
在
试着用各种方法解决以下问题,但没有结果。当K.py被执行时,它会生成一些信息,比如一个国家名称。现在,在其他模块(数百个)
中
,有一些模块可以使用由K.py作为输入传递给它们
的
信息(例如,国家名称)来执行。当所有模块都已完成执行时,我应该能够做出判断(即运行K.py必须
阻塞
,直到已触发
的
扩展模块二叉树被“连接”为止)。如果对于每个信息I和可运行
的
脚本S(
浏览 9
提问于2011-07-17
得票数 0
1
回答
将
芹菜
用作扭曲应用
的
控制通道
、
、
我想用
芹菜
来远程控制这个- AMQP
似乎是
从一个中心位置控制许多Twisted应用程序
的
理想方法,我想利用
芹菜
基于任务
的
特性,例如任务重试,子任务等等。为了保持简单,我使用了
芹菜
的
“单独”流程
池
实现,这不会为任务工作者提供一个新
的
流程。 当我尝试使用
芹菜
任务初始化ProcessProtocol (即启动外部进程)时,我
的
问题就会发生。下面是一些示例代码,基于ProcessProtocol文档
浏览 2
提问于2011-11-15
得票数 12
回答已采纳
1
回答
在
单个
线程
中使用带
Python
的
阻塞
http库
的
并发http请求
、
、
、
、
因此,我有一个问题,我正试图以一种特殊
的
方式解决,但我不知道它有多难实现。我想使用
Python
3.4
的
异步/协同特性来使用
阻塞
的
http库(比如请求)或任何执行类似于aws
的
boto请求
的
Python
来触发许多并发
的
http请求。我知道run_in_executor()方法可以在
线程
/进程
中
运行任务,但我想避免这种情况。 我想使用Linux/Unix内核
中</e
浏览 0
提问于2015-08-26
得票数 0
回答已采纳
2
回答
Python
异步和CPU绑定任务?
、
、
、
最近我一直在用烧瓶
在
python
上做一个宠物项目。它是一个简单
的
pastebin,具有服务器端语法,突出对pygments
的
支持。不管名称如何,这也可以应用于与CPU绑定
的
任务,这些任务可以委托给另一个工作人员(
线程
、进程等),然后非
阻塞
地等待以获得结果。由于方便,我决定使用gevent进行异步工作,并想知道如何在异步环境(使用期货、
芹菜
等)
中
处理CPU绑定
的
任务。 如何将异步执行模型(
在
本例<em
浏览 5
提问于2013-04-12
得票数 17
回答已采纳
2
回答
Java:为几个递归任务在
线程
池中共享工作人员
、
、
有一个固定
的
线程
池
(让它和size=100一起使用),我想在我
的
应用程序中使用它来执行所有的任务。它用于限制服务器负载。假设我现在提交第二个任务。它将只<em
浏览 2
提问于2012-07-24
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python爬虫之多进程爬取
协程
Python_学习之多协程
python 协程 及其与python多线程的区别和联系
线程和进程全面使用,3分钟了解GIL,多线程进程竟然更慢
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券