腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
是否有开源的
分布式
作业
调度
器?
quartz-scheduler
、
scheduler
是否有可供免费商业使用的
分布式
调度
程序?我看过,但它的
分布式
版本非常昂贵。 谢谢
浏览 0
提问于2013-09-11
得票数 2
1
回答
在本地使用Dask时,是否需要初始化客户端?
python
、
dask
、
dask-dataframe
我看过Dask教程,它们总是从客户端的初始化开始: from dask.distributed import Client df = dd.read_csv('trainset.csv').compute() 尽管设置了n_workers=4,Dask在读取csv时会使用所有内核。初始化客户端和不初始化客户端都是一样的。当我在本地使用Dask并且仅用于读取文件时,
浏览 20
提问于2020-04-25
得票数 0
1
回答
如何通过环境变量指定dask客户端
python
、
dask
、
dask-distributed
我如何指示dask使用
分布式
Client作为
调度
程序,从代码中从外部使用,例如通过一个环境变量? 其动机是利用dask的一个关键特性,即从单一机器到
分布式
集群的透明性。我可以通过配置(file/env )将命名的
调度
程序(例如“同步”和“进程”)设置为,但是如何使用与
分布式
机制相同的机制呢?这意味着完全相同的代码可以在不同的环境(本地和
分布式
)中运行。
浏览 1
提问于2019-04-17
得票数 0
1
回答
自定义Dask
调度
程序与客户端
python
、
dask
、
xgboost
、
dask-distributed
、
dask-dataframe
我希望在自定义
调度
程序上运行Dask任务,类似于Ray上的Dask工作方式。目前,我正在使用Dask的配置来指定
调度
程序:这种方法适用于简单的Dask dataframe操作,如下面这样的操作np.random.randint(0, 1000, size=(256, 256)))但是,任何需要Dask客户端的东西,例如XGBoost培训,都不使用自定义
调度
程序不幸的是,Dask对客户端
浏览 3
提问于2021-07-01
得票数 0
1
回答
框架适用于大规模的
分布式
调度
任务队列。
rabbitmq
、
akka
、
scalability
、
high-availability
、
task-queue
我查看了多个任务队列,但是对
调度
的支持不多,比如以
分布式
方式
调度
,一个好的解决方案似乎是芹菜(我是一个java的家伙,我不能使用python), Akka (这看起来是一个很好的解决方案,可伸缩、持久等等,但是
调度
似乎有一个限制,比如我需要根据用户请求在一天中的不同时间安排100000个作业),如果我错了,请纠正我。我不需要和
分布式
锁来
调度
,而是需要异步并发。请提出替代方案。打开scala/java/javascript作为一种语言。
浏览 0
提问于2015-01-29
得票数 3
回答已采纳
0
回答
大佬求助: 硕士论文选题?
深度学习
、
编程算法
、
分布式
最近在准备硕士论文开题,想弄
分布式
下的资源
调度
这个课题。然后想着能不能把深度学习融入到
调度
算法里面,有大佬觉得可行吗?这个话题能憋出60~70页的内容吗^_^
浏览 56
提问于2022-11-23
2
回答
Oozie
分布式
调度
器
oozie
、
oozie-coordinator
我正在浏览oozie文档,我知道它是一个
分布式
工作流
调度
程序。 它能够在提交oozie作业的集群上
调度
工作流吗?要重新表述,oozie能够在集群中的任意随机节点上
调度
作业或运行脚本,它是否能够在客户端机器/边缘节点/其他集群(例如distcp )上执行操作。
浏览 4
提问于2016-01-04
得票数 0
回答已采纳
1
回答
如何在域驱动设计中添加计划作业
domain-driven-design
、
scheduler
我应该在域驱动的设计架构中添加
调度
程序项目的哪一层? - Scheduler - Application
浏览 1
提问于2017-07-24
得票数 0
回答已采纳
1
回答
Spring boot计划的cron作业在部署多个实例时运行2次
java
、
spring-boot
、
cron
、
scheduled-tasks
、
spring-scheduled
我在应用程序中有四个cron作业,它们每天工作几个小时。我将它们部署在6个不同的实例中,并使用shedLock来防止重叠,但这还不够。因为有时作业延迟和锁定被移除,然后作业再次工作2次。如果一个cron作业仍然在一个实例中工作,其他实例在这个实例完成之前不会启动作业,我该如何配置?
浏览 30
提问于2021-07-28
得票数 0
1
回答
如何在一台机器上设置两个dask
分布式
调度
程序?
python
、
dask
我希望在同一台机器上运行两个dask
分布式
调度
程序。我应该如何设置这两个
调度
程序?
浏览 14
提问于2017-02-24
得票数 1
回答已采纳
1
回答
LocalCluster()是如何影响任务数量的?
python
、
dask
、
dask-dataframe
计算(如dask方法dd.merge)是否需要在LocalCluster内部或外部进行?最终的计算(如.compute)是否需要在LocalCluster内部或外部进行?我和我的同事注意到,将dd.merge放在LocalCLuster()之外会显着地降低任务的数量(比如10倍或类似的smth )。原因是什么?许多任务: n_workers=8, processe
浏览 4
提问于2020-10-16
得票数 0
2
回答
hadoop伪
分布式
运行与单机运行的性能比较
performance
、
hadoop
、
distributed
在hadoop文档中使用, 通过在独立操作和伪
分布式
操作中运行相同的示例,独立操作耗时不到1分钟,但伪
分布式
操作耗时超过3分钟。这是一个很大的区别。我可以理解在
分布式
模式下有额外的网络和
调度
开销。我的问题是,在实际作业中,单机模式和
分布式
模式有多大的不同?
浏览 1
提问于2012-05-02
得票数 0
1
回答
LocalCluster
调度
程序没有使用所有内核,并且比默认线程
调度
程序慢吗?
dask
、
dask-distributed
我使用dask数组来加速一台机器(4核或32核)上的计算,使用默认的“线程”
调度
程序或dask.distributed LocalCluster (线程,没有进程)。考虑到dask.distributed
调度
器是新的,并且附带了一个很好的仪表板,我希望使用这个
调度
器。但是,我发现LocalCluster
调度
程序比默认
调度
程序慢(因子2或更多)。LocalCluster
调度
程序也没有充分利用所有请求的核心,偶尔在32核机器上只使用一个或几个内核。 问:这是预期的行为吗?如果没有,我可以做些
浏览 1
提问于2021-08-31
得票数 1
3
回答
基于Redis的Java作业
调度
器
java
、
redis
、
job-scheduling
我希望在我们的项目中取代Quartz作为作业
调度
器。我们已经使用支持集群的Redis作为
分布式
缓存层,我们想也许我们也可以使用Redis来进行作业
调度
。有没有人用Redis在Java中实现了作业
调度
?
浏览 1
提问于2016-03-25
得票数 5
1
回答
使用api启动
调度
程序时,Dask仪表板未启动
python-3.x
、
dask
、
dask-distributed
我用达斯克建立了一个
分布式
系统。当我使用启动
调度
程序时,dask
调度
程序没有提到启动仪表板。正如我所预期的那样,我无法按我所期望的地址到达它。 龙卷风5.1
浏览 1
提问于2019-01-06
得票数 0
1
回答
如何清除hadoop fifo队列?
hadoop
、
cloudera
我已经设置了一个伪
分布式
模式集群设置。FIFO
调度
器以某种方式卡在中间,因此许多作业堆积起来,我通过cron使用
调度
器。或者,是不是我对hadoop
调度
的完全理解有缺陷。请帮帮忙。
浏览 1
提问于2012-08-19
得票数 2
1
回答
开源资源管理软件
linux
、
resource-management
我最近写了一些科学软件,可以从命令行运行,现在正在为该软件创建一个网络前端,以使那些对终端不那么了解的科学家更容易访问它。实现前端很简单,但在后端,我希望确保没有太多请求一次执行(这会使服务器陷入困境)。几年前,我遇到了这个问题(当时我的经验要少得多),我简单地将一个基于Perl脚本、MySQL和crontab的解决方案合并在一起。对于这个新系统,我需要类似的功能,但我很难相信至少没有一个成熟的开源解决方案。谢谢!
浏览 0
提问于2012-02-22
得票数 3
回答已采纳
1
回答
用于处理跨异构系统的大规模工作流的资源管理器
hadoop
、
mapreduce
、
nagios
我正在寻找一个开源的资源管理器,可以在
分布式
计算环境中管理大规模的工作流。Condor用于网格环境,但提供粗粒度的
分布式
并行化。我觉得Ganglia和Nagios在高性能计算环境中很好。但是我想知道Ganglia和Nagios是否可以用于工作流?能否将我的
调度
算法嵌入到
调度
器中,并将其与Hadoop MapReduce框架上的资源管理器一起使用?有帮助的回复更受欢迎。谢谢。
浏览 0
提问于2011-12-13
得票数 1
回答已采纳
2
回答
使用celery作为容错
调度
器
python
、
rabbitmq
、
celery
我想使用celery w/ rabbitmq作为
分布式
环境中的容错
调度
器。所谓容错,我的意思是,如果一个任务被分配给一个worker,而该worker由于某种原因而宕机,celery应该能够将其重新
调度
到另一个服务器上。在有多个工作节点的环境中,如何实现这一点?
浏览 1
提问于2011-04-06
得票数 6
3
回答
分布式
芹菜
调度
器
python
、
celery
我正在寻找一个
分布式
的类似cron的Python框架,我找到了芹菜。然而,文档中说“你必须确保一次只有一个
调度
程序在运行一个
调度
程序,否则你会得到重复的任务”,Celery使用的是celery.beat.PersistentScheduler,它将
调度
存储到一个本地文件中那么,我的问题是,除了默认实现之外,是否还有其他实现可以将
调度
“放入集群”,并协调任务执行,以便每个任务只运行一次?我的目标是能够在集群中的所有主机上以相同的时间表运行celerybeat。 谢谢
浏览 0
提问于2011-08-10
得票数 12
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
分布式任务调度
分布式调度框架azkaban3.0
扫盲篇-什么是分布式任务调度
为什么要用分布式集群任务调度?
分布式定时任务调度框架实践
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券