如何先顺序运行EMR步骤，然后再并行运行？

文章/答案/技术大牛

发布

1回答

amazon-web-services、concurrency、amazon-emr、java.util.concurrent

在这里，我想要理解的是，我们是否可以做一些代码操作，在step2之后运行并行执行，其中步骤3和step4将并行运行，在步骤4之后，它将按顺序运行步骤5。到目前为止，我如何才能做到这一点或任何人都可以做到呢？谢谢

浏览 13提问于2020-04-29得票数 1

1回答

AWS EMR能否在单个集群中并行运行多个火花应用程序？

amazon-web-services、apache-spark、amazon-emr

我知道EMR集群可能有多个步骤，EMR将按顺序运行这些步骤。但是，是否有可能让电子病历并行运行？

浏览 1提问于2022-08-04得票数 1

回答已采纳

1回答

电子病历步骤的顺序

amazon-web-services、amazon-emr、amazon-data-pipeline

当最初设置一个新的EMR集群，并将步骤添加到集群中时，它们附加到页面的顺序是自顶向下的，这意味着顶部条目首先运行，底部条目运行到最后。当您在运行的EMR集群中观察这些步骤的进度时，它们会自下而上地运行，这意味着底部先运行，顶部运行最后。当我导出用于集群设置的CLI命令，并通过DataPipeline运行该命令时，它包含--steps标志，其中包含一个步骤<

浏览 1提问于2016-10-15得票数 2

4回答

EMR并行运行步骤

web-services、amazon-web-services、apache-spark、amazon-emr

我正在电子病历集群上运行一个火花作业，我所面临的问题就是是否有任何方法使它们并行运行，如果没有，是否有任何修改？

浏览 6提问于2017-03-30得票数 7

1回答

我是否可以像在本地群集上一样在EMR上运行作业

amazon-web-services、hadoop、emr、amazon-emr

在那里我运行不同的mapreduce命令，比如 -D mapred.output.compression.codec\ -input /aws/input/input_warc.txt \现在我必须在电子病历上运行它我想像上面那样精确地运行命令。为此，我认为如果我ssh到EMR

浏览 0提问于2017-01-12得票数 0

1回答

Hadoop (EMR)集群公平调度器正在完成FIFO而不是并行

hadoop、hadoop-yarn、emr、amazon-emr

集群最初是作为FIFO工作的，我试图让作业并行运行。但是，当试图在集群上运行多个作业时，AWS EMR控制台只显示一个正在运行的作业，另两个正在执行中。此外，纱线控制台只显示在队列root.hadoop中运行的一个作业，而没有看到其他作业(在该作业完成后将运行)。那么，我如何才能使这些任务并行运行呢？

浏览 2提问于2017-10-31得票数 1

回答已采纳

1回答

EMR:无法并行运行步骤

apache-spark、hadoop-yarn、emr

我正在尝试并行运行几个EMR步骤。我看到了关于这个问题的其他问题，以及谷歌的选项。但是EMR仍然一次只运行一个步骤(其中一个步骤正在运行其余的步骤)这是步骤配置

浏览 1提问于2018-06-07得票数 2

4回答

步骤后的春季批处理流程/拆分

java、spring、concurrency、spring-batch

我正在构建一个包含以下过程的春季批处理解决方案：生成的子列表可以并行处理，并且根据春季批处理文档这是支持的。遗憾的是，我只能找到以并行步骤开始的春季批处理示例作业，而不是按顺序开始的示例。 <batch:step

浏览 3提问于2013-11-28得票数 7

回答已采纳

1回答

aws emr增加了步骤限制；我可以并行运行步骤吗？

amazon-web-services、hadoop-yarn、sqoop、amazon-emr

我有一堆SQOOP作业，我想通过EMR附加步骤启动。我现有的预置方法是并行运行，直到纱线资源耗尽.PS:我可以将它们作为多线程<

浏览 0提问于2019-03-29得票数 0

3回答

在Amazon AWS上并行运行Pig脚本

apache-pig、oozie、amazon-emr

我们目前在Amazon EMR上按顺序运行所有Pig作业，因此我们启动一个群集，然后将所有Pig作业作为一个步骤添加到群集1 /1。虽然此方法有效，但我想知道是否有什么方法可以让您并行运行这些Pig作业。如果像这样的东西存在，以及我们如何</e

浏览 0提问于2017-03-20得票数 0

3回答

先运行所有Cucumber给定的步骤，然后再运行步骤

cucumber、cucumber-jvm

output is for A1 is output_A1我想先加载所有数据我在想一些方法来告诉cucumber先运行所有给定的场景，然后再运行所有场景。

浏览 3提问于2014-12-16得票数 2

1回答

在纱线中并行运行多个hadoop作业

amazon-web-services、hadoop-yarn、hadoop2、emr、amazon-emr

当我尝试在EMR集群中运行多个hadoop作业时，它们都会一个接一个地运行(我可以看到使用纱线应用程序-list的进展)。有没有办法并行运行所有这些hadoop作业？如果是，如何在一个步骤内传递多个作业？

浏览 0提问于2016-05-25得票数 2

回答已采纳

1回答

使用ant停止并行java任务

java、ant、client

我正在开发两个java程序，它们分别运行在具有典型服务器/客户端关系的不同VM中。使用ant的并行/顺序任务，我可以让ant先运行服务器，然后再运行客户端。

浏览 2提问于2010-02-20得票数 10

回答已采纳

1回答

五合水壶-“文本文件输出”的写入顺序？

pentaho、kettle、pentaho-spoon、pdi

Pentaho的“文本文件输出”能保证记录按照发送给它的顺序写入吗？或者在处理多个文件和多个流时，它有一些内部逻辑可能会改变记录写入的顺序？

浏览 0提问于2016-11-23得票数 0

1回答

Amazon EMR:仅在前一个作业已完成时才启动新的计划作业

amazon-web-services、amazon-emr

我有一个每2小时运行一次的AWS EMR集群作业。我已经使用cloudWatch作业设置了一个每两小时运行一次的计划。但有时下一个作业(从前一个作业运行2个小时后开始)会在前一个作业未完成时启动，因为有时需要超过2个小时才能完成，这取决于要处理的数据。我需要一些配置，通过它我可以防止下一个作业被启动，如果前一个作业正在运行。我试过了，但找不到任何设置。有谁知道怎么做吗？

浏览 0提问于2020-06-29得票数 0

1回答

尝试将"Run only“控制器与"If”控制器一起使用，但在线程组下请求的顺序已更改

performance、jmeter、load、jmx

描述:我有一个由JMeter并发运行的基本流程。用户请求访问令牌，然后执行"POST“操作(创建一些项目)。对于我使用10个用户(线程)和单次迭代(loop_count=1)的示例，获取访问令牌应该是每个所有测试计划(跨所有线程)一次我只运行了一次get令牌，但随后，请求的顺序发生了奇怪的变化，所以如果我运行10个线程- JMeter首先尝试运行9个请求"Create“，然后才运行一次get令牌，然后再运行最后一

浏览 0提问于2021-03-30得票数 0

1回答

运行SpringBatch步骤并行和顺序

java、spring、spring-batch、batch-processing

在Spring批处理作业中，我有两个业务操作，A和B，每个操作有几个步骤(1、2、3)。我希望并行运行A1和B1，当两者都结束时，我想并行地运行A2和B2： A1-B1 in parallel A2-B2 in parrallel

浏览 2提问于2015-09-28得票数 0

2回答

带有yarn调度程序的aws emr

hadoop-yarn、amazon-cloudformation、amazon-emr

我正在使用cloudformation模板创建AWS EMR。我需要并行运行这些步骤。为此，我尝试将纱线调度程序从FIFO更改为公平/容量调度程序。

浏览 0提问于2019-01-08得票数 0

1回答

10个处理器的性能如何，可以运行200 MFLOPs代码，这是10%的顺序和90%的可并行性？

performance、parallel-processing

Wilkinson和Allen的并行编程中的简单问题:使用网络工作站和并行计算机的技术和应用。在第一章的最后完成练习，并确保我在正确的轨道上。如果10%的代码是连续的，90%是可并行的，那么在MFLOPs中，系统的性能如何？1

浏览 1提问于2015-01-01得票数 1

回答已采纳

1回答

如何向单个AWS EMR集群提交多个火花作业

java、apache-spark、spark-streaming、amazon-emr

我试图向EMR集群提交多个作业，但我只看到第一个处于运行状态的作业，rest都处于可接受的状态。我的大部分工作都是流作业。我正在使用Java进行开发。任何投入都会很有帮助。

浏览 1提问于2020-07-18得票数 8

回答已采纳

点击加载更多