我在应用程序中有四个cron作业，它们每天工作几个小时。我将它们部署在6个不同的实例中，并使用shedLock来防止重叠，但这还不够。因为有时作业延迟和锁定被移除，然后作业再次工作2次。如果一个cron作业仍然在一个实例中工作，其他实例在这个实例完成之前不会启动作业，我该如何配置？
浏览 30提问于2021-07-28得票数 0
我正在寻找一个开源的资源管理器，可以在分布式计算环境中管理大规模的工作流。所有这些都用于批处理系统。Condor用于网格环境，但提供粗粒度的分布式并行化。我觉得Ganglia和Nagios在高性能计算环境中很好。但是我想知道Ganglia和Nagios是否可以用于工作流？能否将我的调度算法嵌入到调度器中，并将其与Hadoop MapReduce框架上的资源管理器一起使用？有帮助的回复更受欢迎。谢谢。
浏览 0提问于2011-12-13得票数 1
回答已采纳
1回答
我有一个分布式作业调度程序，运行在三台机器上，从数据库中选择事件(弹性搜索)。我现正探讨以下方案：有人能帮我朝着正确的方向前进吗？
浏览 1提问于2021-08-18得票数 0
计算(如dask方法dd.merge)是否需要在LocalCluster内部或外部进行？最终的计算(如.compute)是否需要在LocalCluster内部或外部进行？我和我的同事注意到，将dd.merge放在LocalCLuster()之外会显着地降低任务的数量(比如10倍或类似的smth )。原因是什么？许多任务： n_workers=8,
processe
浏览 4提问于2020-10-16得票数 0
2回答
使用动物园管理器在集群中调度任务
、、、、
使用动物园管理员，并且总是只在领导/主节点上运行计划的任务。缺点:任务执行负载没有分布
使用动物园管理员，让主节点按照计划继续生成任务，并将其分配给随机工作人员。我倾向于使用#3，这似乎是一个安全的解决方案，假设动物园管理员集成节点运行在一个单独的集群上与<em
浏览 2提问于2016-12-15得票数 6
此外，我必须有另一个进程来创建和监督其他服务器(分布式系统)上的许多其他任务。这个进程应该在后台运行，并且运行很长一段时间(几个月、几年)。或我非常倾向于解决方案2)。
浏览 1提问于2019-11-14得票数 0
1回答
我需要构建一个系统，这个系统至少需要10万个工作岗位，创建一天的/scheduled。我查看了多个任务队列，但是对调度的支持不多，比如以分布式方式调度，一个好的解决方案似乎是芹菜(我是一个java的家伙，我不能使用python)，
Akka (这看起来是一个很好的解决方案，可伸缩、持久等等，但是调度似乎有一个限制，比如我需要根据用户请求在一天中的不同时间安排100000个作业)，如果我错了，请纠正我。我不需要和分布式锁来调度，而是需要异步并发
浏览 0提问于2015-01-29得票数 3
回答已采纳
我已经设置了一个伪分布式模式集群设置。FIFO调度器以某种方式卡在中间，因此许多作业堆积起来，我通过cron使用调度器。现在，当我重新启动YARN资源管理器时，它在一段时间后被卡住，并且作业不断堆积。
有没有办法清空整个队列。或者，是不是我对hadoop调度的完全理解有缺陷。请帮帮忙。
浏览 1提问于2012-08-19得票数 2
1回答
如果每个处理器/核心上都有调度()的副本，那么进程如何被分派到特定的CPU/cpu运行队列。这是负载平衡器的工作吗？是否只有一个负载均衡器运行于所有CPU，还是使用标志/通信方法以分布式方式完成？ps-我知道调度类等的工作，但我很难计算出进程在不同运行队列之间的分布情况。
浏览 6提问于2013-02-11得票数 1
1回答
据我所知，Apache有一些与EC2重叠的特性/用途，比如集群管理。Chronos是一种分布式调度程序。EC2服务取代了Mesos？调度器呢？编辑--我做了一个很大的编辑，现在我想我理解了这个体系结构：这是一个由Mesos管理的两个集群的示例图片。
读取ECS容器服务文档()，AWS将与集成ECS。因此，我设想在未来的使用中，我们可以使用mesos框架来管理ECS集群中的资源。因此，使用Chronos (批量<em
浏览 6提问于2015-10-16得票数 2
回答已采纳
2回答
我研究了分布式系统，但我仍然不了解如何部署中间件来安装分布式系统。
我练习了套接字，但没有任何关于中间件和分布式系统开发和管理的内容。我对如何部署中间件感到困惑--它是安装在代理机器上还是必须安装在每台计算机上(作为分布式系统的一部分)？客户端机器是如何利用中间件的，中间件中有客户端部分吗？
浏览 2提问于2017-12-04得票数 1
回答已采纳
5回答
在我看来，Apache是一个分布式系统内核，而Mesosphere是基于Apache的Linux发行版。我说得对吗？
浏览 4提问于2017-05-25得票数 24
回答已采纳
Akka能否为分布式应用程序(Java/JEE)提供web请求节流？
用Akka实现这一目标的最佳方法是什么？
浏览 1提问于2014-02-10得票数 1
回答已采纳
有几种调度系统(工作负载管理系统)。像SGE(太阳网格引擎)，LSF，PBS。通常在工作站上，使用'qsub‘命令可以将一个作业放在一个队列中，然后调度系统将从那里接管任务。qsub如何与调度系统相关联？系统管理员需要配置什么？
哪个调度系统比较流行？
浏览 0提问于2012-02-18得票数 2
回答已采纳
1回答
Nomad似乎声称它可以进行资源管理，所以我想知道这与Apache有什么不同？
对任何人来说，光靠集群资源管理是不够的。
浏览 0提问于2017-12-12得票数 2
我们有一堆服务器。每个月我们对数据进行排序和合并。我们已经创建了进程来运行它，但是目前它们是由我们的工作人员手动运行的。因此，这些进程在本地机器上运行，从中央数据服务器访问数据，并写入本地磁盘。这是ZooKeeper可以监视/执行的进程吗？
浏览 2提问于2014-10-30得票数 0
回答已采纳
最终，我将有一个集中的系统来协调它。
我被困在试图找到正确的术语，引导我到软件/基础设施来做这件事。分布式计算通常假定对您正在分发的计算机进行控制，在这种情况下，我将无法完全控制，只需通过已安装的客户端进行控制。需要在术语/示例技术方面的帮助，我可以开始我的研究。
浏览 0提问于2020-09-14得票数 -1
回答已采纳
在中，有人说
Spring为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理、服务发现、断路器、智能路由、微代理、控制总线、一次性令牌、全局锁、领导选举、分布式会话、集群状态)。在微服务和分布式系统方面，有人能解释什么是智能路由吗？
浏览 4提问于2017-10-03得票数 1
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
