腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
redis比订阅者更快,不能获得所有的数据
python
、
redis
、
queue
、
redis-py
我使用
python
发布和订阅消息队列。
浏览 3
提问于2017-06-28
得票数 1
1
回答
Apache livy for Dask
分布式
替代方案
apache-spark
、
dask
、
dask-distributed
Dask是一个纯粹的基于
python
的
分布式
计算平台,类似于Apache Spark。有没有办法通过REST API运行和监控Dask
分布式
作业/
任务
,比如Apache Livy for Apache Spark?
浏览 41
提问于2021-09-26
得票数 1
1
回答
分布式
Dask CPP工作进程
dask
、
dask-distributed
DASK有一个非常强大的
分布式
api。据我所知,它只能支持原生
python
代码和模块。 有人知道
分布式
任务
是否可以支持c++工作者吗?我在文件里找不到任何东西。除了将
python
绑定添加到cpp代码之外,是否还有其他方法来使用该功能?
浏览 2
提问于2019-04-09
得票数 1
1
回答
在
Python
多处理中,如何使用队列在进程之间传递用户定义的对象?
python
、
queue
、
multiprocessing
、
custom-object
/usr/bin/env
python
from multiprocessing import Queueimport signal
浏览 3
提问于2013-11-25
得票数 0
3
回答
在同一个大规模数据集上对数百个模型进行评分的最佳实践?
scoring
每个线程都是一个
Python
进程,它提交R代码(即加载一个R .rds模型和相关的数据集转换逻辑)。这个过程耗时太长,容易出错(更多的是它变成的复杂代码网络的一个指标),代价很高(需要大量的云实例),并且只允许在R中构建模型(我想基本上不知道模型来自哪种语言,但我主要想启用
Python
和R--这是一个不可协商的需求re:如何将这个过程重新架构为1)更有效地运行(从$ PoV)和2)启用
Python
模型。
浏览 0
提问于2020-01-21
得票数 2
1
回答
在WSGI框架中调度事件
python
、
wsgi
、
schedule
我已经编写了一个
Python
应用程序,它读取
任务
的数据库,并以不同的时间间隔执行schedule.enter()。每个
任务
在执行时都会重新调度自己。我想将此应用程序与WSGI框架集成,以便可以在响应HTTP请求时添加或删除
任务
。我假设我可以使用XML-RPC在框架进程和
任务
引擎之间通信,但我想知道是否有一个框架具有内置的事件调度,可以通过HTTP进行修改。
浏览 3
提问于2010-09-03
得票数 3
回答已采纳
1
回答
Dask工作进程内存不断增长
tensorflow
、
dask-distributed
我正在dask
分布式
,tensorflow,keras设置上优化ML模型。工作进程在内存中不断增长。我不想每次内存满时都重新启动,因为这会使操作停止一段时间,从而导致延迟。唯一的解决方案是重新启动工作进程。 还有人有其他解决方案吗?Dask
分布式
版本: 1.21.1
Python<
浏览 1
提问于2018-04-07
得票数 1
1
回答
python
中的
分布式
任务
调度器?
python
、
celery
、
scheduled-tasks
、
scheduler
、
apscheduler
我想要建立一个应用程序,它可以调用定期
任务
在规定的间隔- cron替换类似,但没有产卵过程。我会有很多
任务
,大约每分钟10000件。 芹菜-可以作为一个
分布式
系统工作,但它并不是真正的调度器
浏览 0
提问于2018-02-28
得票数 4
2
回答
使Django聊天机器人应用程序与多个用户交互
python
、
mysql
、
django
基本上,会话将通过API使用GET和POST进行交换,首先发布输入,然后调用
python
文件来选择DB的输入形式,然后处理它,然后用检索出来的put.Finally更新数据库,GET用于获取输出、放置并显示它我是用以下方法开发的:Django:网站。谢谢,
浏览 3
提问于2017-04-19
得票数 0
1
回答
用django web应用程序连接多线程
任务
运行程序
django
、
multithreading
、
python-3.x
、
python-multithreading
除了web应用程序之外,我还有一个单独的模块,它有大约40个函数,它们接受一些参数,执行一些网络绑定
任务
并返回结果。这些函数(或入口点函数)可以从django视图中调用。该请求应该在服务器中并行地(以URL作为参数)启动这些函数(不一定是一次全部) 用户可以从web应用程序中请求获取已完成
任务
的列表和正在进行的操作的结果。
浏览 0
提问于2018-04-01
得票数 0
回答已采纳
1
回答
基于ZeroMQ的
分布式
任务
处理
python
、
zeromq
我试图使用ZMQ推拉来构建一个
分布式
任务
处理系统。这是在Java中通过队列和侦听器使用JMS实现的;空闲的侦听器可以接收队列的消息并执行it.Once --队列是跨节点分布的,这就像负载平衡器一样。使用ZMQ (使用
Python
-不想现在使用芹菜),我正在尝试推拉。有不同的处理时间的工人。然而,即使是当一个工人是自由的,
任务
是严格循环的方式。这就是说,不管工人是否自由,
任务
都是以循环的方式进行的。 有什么方法可以用ZMQ模式来模拟
分布式
队列吗?这样,我就可以在每个节点中有一个工人‘轮询
浏览 1
提问于2015-07-06
得票数 0
1
回答
人工智能平台(ML Engine)是如何为工作分配资源的?
machine-learning
、
google-cloud-platform
、
google-cloud-ml
、
gcp-ai-platform-notebook
基本上,我的项目是按照文档来构造的,其中包含一个训练器
任务
和一个单独的批预测
任务
。我想了解AI平台如何分配资源给我执行的
任务
。这些引擎/库使用专用的协调系统来分发工作人员,并且对所有机器学习算法都有单独的
分布式
实现。既然我的
任务
是使用ScikitLearn编写的,那么这些计算是如何在AI平台提供的集群中并行化的,因为sklearn没有任何这样的
分布式
计算能力? --region $REG
浏览 1
提问于2019-08-05
得票数 1
回答已采纳
1
回答
Ray中的角色抽象
distributed-computing
、
actor
、
dask-distributed
、
ray
在学习
分布式
Python
的Ray技术时,我读到了关于Ray的以下声明,但我并不完全理解它的真正含义?任何带有一些应用程序上下文的解释都是值得赞赏的。
浏览 15
提问于2020-09-14
得票数 0
1
回答
有没有更好的方法来处理队列中从on_message回调接收到的消息?
python
、
multithreading
、
queue
、
paho
、
concurrent.futures
我现在有一个带有消息队列和on_message回调函数的paho-MQTT客户端脚本。 message = message.payload.decode()我需要对这些接收到的消息进行一些处理(我每3秒在队列中收到大约12条消息)
浏览 4
提问于2020-03-02
得票数 0
1
回答
分布式
任务
队列(例如Celery)与crontab脚本
python
、
django
、
celery
我在理解“
分布式
任务
队列”的目的时遇到了麻烦。例如,
python
的。谢谢。
浏览 1
提问于2013-04-26
得票数 103
回答已采纳
1
回答
如何执行长请求
python
、
flask
当用户按下提交时..我收集响应并在后端启动一个
任务
。
浏览 0
提问于2013-02-16
得票数 0
回答已采纳
1
回答
分布式
任务
调度,作业队列
javascript
、
mysql
、
node.js
、
amazon-ec2
、
cron
我必须通过电子邮件发送一个特定的
任务
通知,需要发送给用户谁期待它每6个小时。因此,我使用节点-cron在我的服务器上安排了一个
任务
,它每30分钟醒来一次,检查是否有任何用户没有回复他们的电子邮件,使用mysql db和updated_at col进行跟踪。工作得很好!但现在我必须让它在
分布式
环境下工作。使用弹性豆杆与1-4微ec2实例.除了我所拥有的(MySQL)之外,我不想添加任何其他db/存储/队列。 有人能把步骤和节点-cron一起画出来吗?(确保完成某项
任务
一次,我不想在6小时之前发送通知)
浏览 1
提问于2014-11-10
得票数 3
1
回答
吡咯烷酮和
python
软件包性能
python
、
pyspark
、
anaconda
例如,如果我使用read_csv方法将数据加载到熊猫df中,我假设这不是一个
分布式
任务
,对吗?同样,您在pyspark上导入和使用的任何
python
包也不是
分布式
的吗?
浏览 3
提问于2017-11-16
得票数 0
回答已采纳
1
回答
用Gearman模拟Google的
任务
队列
django
、
google-app-engine
、
message-queue
、
gearman
我最喜欢Google的
任务
队列的一个特点是它的简单性。更具体地说,我喜欢它接受一个URL和一些参数,然后在
任务
队列准备好执行
任务
时发送到该URL。 每个<e
浏览 2
提问于2010-03-10
得票数 4
1
回答
如何管理百万个不同开始日期的气流
任务
?
airflow
我有大约一百万的气流
任务
,使用相同的
python
功能。每个运行都需要有不同的开始日期和参数。问题这些
任务
不需要在上运行(因为它们起源于
python
函数)。实际上,它们最有可能
浏览 0
提问于2019-03-25
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
分布式任务调度
分布式任务系统cronsun
分布式任务队列 Celery—最佳实践
分布式任务队列 Celery—应用基础
python定时任务
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券