1回答
我需要构建一个系统，这个系统至少需要10万个工作岗位，创建一天的/scheduled。我查看了多个任务队列，但是对调度的支持不多，比如以分布式方式调度，一个好的解决方案似乎是芹菜(我是一个java的家伙，我不能使用python)，
Akka (这看起来是一个很好的解决方案，可伸缩、持久等等，但是调度似乎有一个限制，比如我需要根据用户请求在一天中的不同时间安排100000个作业)，如果我错了，请纠正我。我不需要和分布式锁来调度，而是需要异步并发
浏览 0提问于2015-01-29得票数 3
回答已采纳
我在应用程序中有四个cron作业，它们每天工作几个小时。我将它们部署在6个不同的实例中，并使用shedLock来防止重叠，但这还不够。因为有时作业延迟和锁定被移除，然后作业再次工作2次。如果一个cron作业仍然在一个实例中工作，其他实例在这个实例完成之前不会启动作业，我该如何配置？
浏览 30提问于2021-07-28得票数 0
计算(如dask方法dd.merge)是否需要在LocalCluster内部或外部进行？最终的计算(如.compute)是否需要在LocalCluster内部或外部进行？我和我的同事注意到，将dd.merge放在LocalCLuster()之外会显着地降低任务的数量(比如10倍或类似的smth )。原因是什么？许多任务： n_workers=8,
processe
浏览 4提问于2020-10-16得票数 0
我正在寻找一个开源的资源管理器，可以在分布式计算环境中管理大规模的工作流。所有这些都用于批处理系统。Condor用于网格环境，但提供粗粒度的分布式并行化。我觉得Ganglia和Nagios在高性能计算环境中很好。但是我想知道Ganglia和Nagios是否可以用于工作流？能否将我的调度算法嵌入到调度器中，并将其与Hadoop MapReduce框架上的资源管理器一起使用？有帮助的回复更受欢迎。谢谢。
浏览 0提问于2011-12-13得票数 1
回答已采纳
我用达斯克建立了一个分布式系统。当我使用启动调度程序时，dask调度程序没有提到启动仪表板。正如我所预期的那样，我无法按我所期望的地址到达它。
bokeh 1.0.3
浏览 1提问于2019-01-06得票数 0
1回答
我有一个分布式作业调度程序，运行在三台机器上，从数据库中选择事件(弹性搜索)。我现正探讨以下方案：
在作业本身中添加节点ip，在从弹性搜索中获取数据时，我也可以传递节点id。
浏览 1提问于2021-08-18得票数 0
我想在一个Spring工件中实现cron作业/调度作业以及我的Web服务。由于工件部署在分布式环境中，调度的作业可能会多次使用相同的数据/作业，这是我试图避免的。但是我现在不想在我的系统架构中引入太多的复杂性，有没有其他更好的解决方案？
浏览 0提问于2020-09-11得票数 0
我已经用纯Java和selenium构建了一个多线程的web爬行和提取引擎。API中的每个作业都在自己的线程中执行，并将其状态提交回API。每个作业还可以包含提取信息(XPth、正则表达式、CSS选择器)、连接信息(代理凭据)和爬行引擎的挂钩。例如，在保存结果之前单击一个按钮。这个引擎工作得很好，但现在我想在多台机器上并行运行它。我可以用当前的版本做到这一点(有通道支持)，但我正在寻找改进和技术，让整个事情变得更好，并学习一些新的东西。
我找到了Akka.io，Apache Spark，Apache Mesos和Apache Storm，并问自己其中一个框架是否可以成为一种技术，我应该花更多的
浏览 0提问于2015-06-17得票数 0
1回答
多租户作业调度程序
、、、
我想构建一个作业调度系统，它可以在一个集群上调度作业，这个集群将在几个孤立的租户之间共享。
每个租户都需要跟踪他们在此共享集群上的作业。这样的东西已经存在了吗？我真的很想知道这种调度系统的特点。
浏览 2提问于2011-09-01得票数 2
1回答
在分布式系统下，有没有轻量级的开源作业调度工具？我想将配置文件分派到从服务器，一个配置文件代表一个作业。
被管理服务器维护所有配置文件，还维护一个映射表，该映射表记录配置文件与从服务器之间的映射。
浏览 0提问于2014-07-28得票数 0
1回答
R脚本分布式调度系统
、、、、
我想在几台机器上调度和分发-- Windows或Ubuntu --(一项任务只在一台机器上)执行R脚本(例如使用RServe )。我不想重新发明轮子，我想使用一个已经存在的系统以最优的方式分发这些任务，并且最好有一个GUI来控制脚本的正确执行。
[1]是否有一个R包或一个库可用于此？我还需要一个调度程序。一种在固定时间或定期安排脚本的工具。我同时使用Windows和Ubuntu，但是在其中一个系统上提供一个好的解决方案就足够了。最后，我不需要服务器来获得脚本的结果。
浏览 8提问于2011-12-29得票数 5
3回答
我认为Windows调度程序应该一直在运行。它可能会被时间中断在预定义的间隔内调用。当调度程序被时间中断触发时，它会为下一个挂起的线程分配当前线程。单个线程只能在计划运行时使用获取其消息。如果有任何消息可用，系统将将该线程的状态更改为可调度。但在我看来，这种检查可能是对系统的一个真正的负担。
2-分布式方法：系统不检查每个线程的队列。当线程调用GetMessage并发现没有可用的消息时，系统只会将线程的状态更改为阻塞，因此不再可调度。
浏览 1提问于2010-11-11得票数 2
此外，我必须有另一个进程来创建和监督其他服务器(分布式系统)上的许多其他任务。这个进程应该在后台运行，并且运行很长一段时间(几个月、几年)。或我非常倾向于解决方案2)。
浏览 1提问于2019-11-14得票数 0
我看过Dask教程，它们总是从客户端的初始化开始： from dask.distributed import Client
df = dd.read_csv('trainset.csv').compute() 尽管设置了n_workers=4，Dask在读取csv时会使用所有内核。初始化客户端和不初始化客户端都是一样的。当我在本地使用Dask并且仅用于读取文件时，
浏览 20提问于2020-04-25得票数 0
2回答
我正在寻找一个工具，将执行作业时，用户通过UI/CLI提交它。执行可能发生在从节点上，also.If所有从节点都很忙，主节点应该自动部署从节点并执行作业。我已经试过了Jenkins，Hudson，Puppet，Chef，Quartz。但他们中的任何一个都没有我想要的。谢谢,
浏览 0提问于2012-09-27得票数 2
回答已采纳
我试图在分布式系统中编写一个调度程序。我的应用程序运行在多个服务器上，我的数据库也运行在多个服务器上。
我正在努力实现：我的调度程序将只在一台服务器上运行.
浏览 4提问于2020-07-21得票数 0
1回答
据我所知，Haskell运行时会在每个内核上创建一个操作系统线程。然后，运行时将轻量级线程/用户线程调度到这些预部署的操作系统线程上。大概吧。
但是Haskell运行时是如何构造的呢?我真正想知道的是RT本身跨内核的可扩展性和分布性如何--例如，理论上我是否可以拥有1000个内核系统，并在5%的内核上启动Haskell RT (无论是50个独立的还是分布式的RT)？
浏览 3提问于2012-09-22得票数 4
1回答
我应该能够动态地将任务添加到调度程序中，例如使用RPC。
我可能可以单独运行ap调度程序实例，但是每个实例都有不同的作业存储(mysql数据库或表)。
浏览 0提问于2018-02-28得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
