按顺序执行批处理作业

文章/答案/技术大牛

发布

1回答

如何调整Hadoop集群以同时执行多个任务？

hadoop、hive、hadoop2

我有3个以上的Hadoop批处理(包括SQOOP、HIVE、PIG作业)，这些批处理是按顺序调度的。在执行这些批处理作业时，如果有任何以前的作业正在运行，则作业将处于已接受状态。如何增加有助于同时运行作业的插槽/容器数量。

浏览 0提问于2018-02-08得票数 0

1回答

sbatch

我有一个批处理作业，如下所示sbatch --包装"perl test.pl file3 file4“sbatch --包装"perl test.pl file7 file8“sbatch --包装"perl test.pl file49 file50“ 如何按顺序运行单个作业

浏览 0提问于2018-07-19得票数 0

回答已采纳

1回答

如何在AW阶跃函数上发送状态机中每个任务执行的通知？

amazon-web-services、amazon-sns、aws-step-functions

我正在研究Amazon函数，以便为多个批处理作业利用工作流。这样的要求是，批处理作业应该在作业从一个过渡到另一个作业时按顺序执行，然后向SNS主题发送带有任务执行状态的通知。我使用Cloudwatch事件规则尝试了执行事件，但是执行事件只提供有关状态机执行的信息，而不是关于任务执行的信息。

浏览 1提问于2020-04-09得票数 0

1回答

按顺序调度Aws批处理作业。如果任何作业失败，请从失败作业中调用作业和序列。

amazon-web-services、aws-lambda、aws-batch

我有一个lambda来按顺序调用AWS批处理作业(依赖作业)。如果序列中的一个批处理作业失败，则此后所有作业都会失败。是否有可能从最后一个失败的批处理作业中调用该批作业，然后从该批处理作业重新启动该序列？

浏览 13提问于2022-07-15得票数 1

回答已采纳

2回答

增强并行操作C#

c#、parallel-processing、task、parallel.foreach、parallel.for

在执行以下代码时 public void test() Parallel.For( 1, 1001, i => { IntensiveWork(i); }); { Thread.Sleep(r.Next(i*1)); } 我注意到Parallel.For生成8个作业的多个批次每个批处理都将按顺序执行。这里的问题是，如果批处理中

浏览 23提问于2019-02-24得票数 1

1回答

AWS批处理后的调度策略

amazon-web-services、fifo、aws-batch

我想知道AWS批处理后的调度策略是什么样子的。关于这个主题的正式文档没有提供太多的细节： “大约”fifo是相当夸张的。特别是我在测试AWS批处理时观察到的执行顺序并不像fifo。我错过了什么吗？是否有可能更改调度策略，或将批处理配置为按照提交作业

浏览 0提问于2018-10-23得票数 2

1回答

如何在Mulesoft中进行批量排序

mule-studio

我有多个batch_step，但目前它都是同步开始处理的，也就是说，只有当batch_step1执行完成时，batch_step2才会启动。

浏览 2提问于2018-05-03得票数 0

2回答

像Slurm一样可以替代本地主机

linux、scheduling、application

在执行实验时，我总是需要知道批处理文件创建的时间，以及我将来要执行的实验。但我是一个喜欢改变主意的人，但我讨厌辞职。有什么东西像Slurm，它只运行在一台机器上，我可以将作业传递给队列，并在必要时删除它们吗？我正在寻找在GPU负载上工作的应用程序(相对于在CPU负载上工作的批处理/at)或按顺序执行作业。这意味着一次只在一个资源(GPU)上运行一个作业，而下一个作业则在执行</e

浏览 0提问于2019-02-01得票数 1

1回答

在Jenkins作业中构建步骤是连续的还是并行的？

jenkins、jenkins-job-builder

我试图找出在一个特定的Jenkins作业中，构建步骤是并行执行还是顺序执行。我使用Jenkins来调度一些批处理文件，但是在从一个表生成到另一个表之间有一些依赖关系。我希望命令它们按顺序运行，以便在另一个开始之前完成。这可能是默认的，但我还不熟悉使用Jenkins，而且我所有的google搜索都只是发布了关于管道的帖子，而不是在单个作业中执行多个构建步骤。谢谢

浏览 12提问于2022-03-15得票数 0

1回答

Spring batch与quartz集成

quartz-scheduler、spring-batch

如何按顺序运行三个spring batch作业。我创建了三个批处理作业和一个cron触发器表达式。当第一个批处理作业成功完成时，我需要依次运行三个作业，然后是第二个批处理作业，然后是第三个批处理作业... 例如:第一批作业将输入到第二个，第二个atch作业将输入到第三个，然后第三个将处理它…

浏览 0提问于2011-12-26得票数 0

5回答

如何按一定顺序运行Spring批作业(Spring )？

java、spring、spring-boot、spring-batch

我正在使用Spring开发Spring批处理。SpringApplication.run(App.class, args);@Bean return jobBuild

浏览 6提问于2016-12-28得票数 6

回答已采纳

2回答

停止从命令行开始的SpringBatch作业

spring-batch

它们如下： -next：(可选)根据作业jobIdentifier中的JobParametersIncrementer:作业名称或作业执行id (用于-stop

浏览 5提问于2011-10-18得票数 1

回答已采纳

1回答

在airflow中，是否可以在多个工作节点上运行单个任务，即以分布式方式运行任务

kubernetes、celery、airflow

我正在使用spring batch创建批处理作业的工作流。单个批处理作业需要2小时才能完成(要处理的数据约为100万)，因此决定以分布式方式运行，其中一个任务将分布在多个工作节点上，这样它就可以在较短的时间内执行。工作流中的其他作业(都是分布式的)需要一个接一个地按顺序运行。作业是多节点分布式作业(主/从架构)，需要一个接一个地运行。现在，我正在考虑在airflow上部署工作流。

浏览 88提问于2021-11-23得票数 0

回答已采纳

1回答

在Oracle顺序中插入

sql、oracle、concurrency

我正在创建多个批处理作业。每个批处理作业都在表中插入一定数量的记录。我想知道insert语句是否是顺序执行的？

浏览 2提问于2017-05-04得票数 0

回答已采纳

3回答

如何确定Server是否不会并行执行部分脚本？

sql-server、sql-server-2005

是否有任何通用规则或简单的方法来判断SQL脚本是否将以批方式执行，而不是“一次性执行”？

浏览 0提问于2013-10-28得票数 1

回答已采纳

1回答

使用to的批处理异步方法与批处理同步方法有什么不同？

asynchronous、quickbooks、intuit-partner-platform、quickbooks-online

它们都允许创建数据对象，并将请求添加到批处理操作中，然后执行批处理。在这两份文件中，他们都说：异步处理文档位于顶部： “在一个请求中异步访问多个数据对象.”我不明白如果批处理操作是在批处理请求中<

浏览 0提问于2013-12-04得票数 0

回答已采纳

1回答

在Laravel 8中一个接一个地运行作业

php、laravel、laravel-8、php-7

我试图使一个由多个作业组成的过程自动化。每一份工作都有一个目标，所以我管理着一份全球性的工作，负责创造儿童就业机会。Global Job -> - Job-2 - Job-4 我想一个接一个地运行它们，因为知道队列进程在同一时间运行所有四个作业

浏览 5提问于2022-06-09得票数 0

回答已采纳

2回答

我正在寻找一种方法，可以暂停Jenkins，或者让Jenkins在开始另一个批处理之前完成批处理文件中的任务。当我运行下面这样的代码时：Jenkins在不同的线程中运行这两个批处理文件我需要完成批处理过程，因为它们可以烹饪和复制资产。最后一个被触发的批处理会压缩资产并将其发送到目的地，但是如果没有完成资产的复制，则压缩会在目录中没有所有文件的情况下开始。我能想到的唯一另一种方法

浏览 2提问于2012-11-28得票数 4

回答已采纳

1回答

Spring batch可以在不同的JVM中并行执行多个步骤

java、spring-batch

Spring batch -需要帮助才能在多个节点上并行运行批处理作业的独立步骤。一个spring批处理作业(JobA)，包含三个步骤:StepA(在compute1中)、StepB (在compute2中)和StepC StepA和StepB是独立的步骤和内存密集型的，因此不能在同一计算节点为了节省时间，我不想按顺序执行StepA和StepB。为了实现并行性，StepA和StepB需要在不同的节点上并行运行。

浏览 11提问于2020-10-22得票数 1

2回答

完成所有作业后的弹簧批处理触发过程

java、spring、spring-batch

我有一个带有一系列作业的spring批处理应用程序。我想在所有的工作完成后发送一封电子邮件，但我不确定做这件事的最佳方法。我所考虑的方案如下：在完成整个批处理时是

浏览 0提问于2018-06-21得票数 2

点击加载更多

如何调整Hadoop集群以同时执行多个任务？