在步骤中创建EMR集群失败

文章/答案/技术大牛

发布

1回答

amazon-web-services、pyspark、aws-lambda、amazon-emr

我第一次尝试使用Lambda函数创建EMR集群时失败了，错误如下。我打算使用script-runner.jar来启动位于S3存储桶中的python脚本。有人能帮我理解这个错误吗？我到底错过了什么？import jsonimport datetime print ('Creating EMR') connection = boto3.client(&#

浏览 19提问于2019-11-22得票数 1

回答已采纳

1回答

显示状态的EMR群集步骤被取消

shell、amazon-web-services、amazon-ec2、amazon-emr

我正在尝试通过shell脚本创建一个EMR集群&我已经添加了一些步骤(通过shell脚本)，这些步骤将在EMR集群获得我的脚本的created...Some运行和显示状态"Complete“时执行，而一些显示出来的EMR集群浏览了”Canced“one的日志，它能够打印出我想要的变量，为什么这个步骤显示它的状态为”Canced“？

浏览 4提问于2016-10-05得票数 3

1回答

如何使用Step函数在Amazon EMR中添加步骤

amazon-web-services、amazon-emr、aws-step-functions

我是一个在AWS中创建步骤函数的新手。我已经创建了一个EMR集群，并希望向其中添加一个步骤。"Jar": "command-runner.jar", "spark-submit s3://xdam-nyctaxi-emr-research/scripts/

浏览 40提问于2021-09-16得票数 0

1回答

在EMR集群的主节点上提交EMR步骤与运行火花提交步骤有什么区别？EMR step aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps Type=Spark,Name="Spark Program",ActionOnFailurespark-submit --master yarn --deploy-mode cluster my_spark_app.py my_hdfs_f

浏览 5提问于2021-11-09得票数 1

回答已采纳

1回答

EMR java sdk - withKeepJobFlowAliveWhenNoSteps

java、scala、amazon-web-services、sdk、amazon-emr

我在EMR上有一个正在运行的集群，它处于“启动”阶段。但是在某个时候允许它终止并将此设置返回到false。谢谢。

浏览 1提问于2019-03-05得票数 0

回答已采纳

3回答

AWS EMR火花1.0

amazon-web-services、apache-spark、emr

有没有办法强迫亚马逊EMR使用Spark1.0.1？当前可选择的版本停留在1.4.1。我在MLlib中使用交替的最小二乘实现，自v1.1以来，它们已经实现了加权正则化，并且出于特定的原因(研究研究)，我不希望这个实现，而是我试图访问他们在v1.0中实现的非加权正则化版本。

浏览 5提问于2016-03-28得票数 0

回答已采纳

1回答

如何在AWS emr中重做失败的步骤

amazon-emr

我在AWS emr中的步骤失败了。如何在不使用UI创建另一个集群的情况下仅重做该步骤。在线找不到此信息。

浏览 9提问于2019-06-06得票数 0

回答已采纳

1回答

当AWS步骤函数失败时调用SNS

amazon-web-services、aws-step-functions

我已经使用AWS的步骤函数实现了一个状态机，包括调用一些Lambda函数、旋转EMR集群、向EMR添加步骤和终止EMR集群。当上述任何状态失败时，我都想调用SNS Topic。

浏览 13提问于2020-07-10得票数 1

回答已采纳

2回答

如何在CloudFormation模板中设置STEP(AWS::EMR::Step)优先级

amazon-cloudformation

在CloudFormation模板中，我创建了一个EMR集群，并使用AWS::EMR::Step资源添加了两个Hive步骤。我通过将CloudFormation模板传递给它来创建Stack。但是，当EMR创建时，很多时候第二步首先执行所有的DML语句，但是由于DB & table模式不存在，它失败了。我希望设置优先级，以便每次HIVE步骤首先执行。感谢你在这方面的帮助。

浏览 0提问于2017-05-17得票数 0

1回答

UDF函数不能使用java JDBC工作

java、amazon-web-services、hadoop、hive、emr

我正在使用EMR集群，并添加了步骤配置，它选择我的UDF jar并创建函数。正在创建EMR集群，我可以从配置单元CLI中使用这些UDF函数。但是，在使用java jdbc执行相同的查询时，我遇到了错误。有谁能帮帮我吗？我正在创建永久函数-创建函数add AS 'brickhouse.udf.collect.CombineUDF‘ 错误为org.apache.hive.service.cli.HiveSQLE

浏览 2提问于2017-11-07得票数 0

2回答

当我使用自定义AMI时AWS EMR配置失败

amazon-web-services、amazon-ec2、amazon-emr、amazon-ami

问题：I在cloudformation模板中定义了一个EMR集群(以及许多其他资源)。我使用api来提供堆栈。它能工作，我可以成功地提供堆栈。然后，我做了一个更改:我为我的EMR集群指定了一个自定义AMI。现在，当我提供堆栈时，EMR配置失败了。现在，由于EMR配置失败，我的堆栈创建失败了。Last state change reason:Time out occurred du

浏览 0提问于2019-02-07得票数 0

回答已采纳

1回答

AWS步骤函数EMR PySpark任务步骤失败

amazon-web-services、apache-spark、pyspark、amazon-emr、aws-step-functions

我有一个有效的EMR步骤，大约需要500秒。with exitCode 0 and took 576 seconds 当我尝试使用步骤函数运行相同的步骤时，spark-submit代码看起来是一样的，但有一个错误： 2021-09-19T18:exitCode 1 and took 2 seconds 标准错误显示:异常在线程“主”java.lang.RuntimeException: java.io.IOException:无法运行程序“火花提交”(在目录：error=2，没有这样的文件或目录使用<e

浏览 39提问于2021-09-23得票数 0

回答已采纳

3回答

如何在Amazon中安装sqoop？

hive、sqoop、amazon-redshift、amazon-emr

我在Amazon中创建了一个集群，并使用-emr-4.0.0。Hadoop发行版:Amazon2.6.0和Hive1.0.0。需要安装Sqoop以便我可以在Hive和Redshift之间进行通信吗？在EMR集群中安装Sqoop的步骤是什么？请求提供步骤。谢谢!

浏览 5提问于2015-08-13得票数 1

回答已采纳

1回答

当所有步骤完成后，如何从Lambda终止EMR群集？

python-3.x、amazon-web-services、aws-lambda、amazon-emr、aws-step-functions

当提交给它的所有步骤都是'COMPLETED'|'CANCELLED'|'FAILED'|'INTERRUPTED'时，我正试图弄清楚如何成功地终止EMR集群。有三个Lambda函数。Lambda 1:做一些工作并创建EMR。通过传递步骤触发Lambda 2，并通过事件触发集群ID。 Lambda 2:将从Lambda 1接收到的步骤提交到从相同位置接收到的集群

浏览 1提问于2020-05-28得票数 0

回答已采纳

1回答

EKS上的EMR* -创建作业执行角色*

amazon-emr、amazon-eks

如何创建一个IAM角色来在EKS上的Amazon上运行工作负载？特别是在这一点上，正式文件仍然非常模糊。

浏览 9提问于2021-03-21得票数 0

2回答

AWS EMR集群未启动

amazon-web-services、emr、amazon-iam

我正在使用AWS电子病历集群，我是用来做情绪分析的评论。我的EMR集群表示状态将“开始”数小时在一起。我已经完成了以下步骤： aws emr create-cluster --release-label emr-4.1.0 --

浏览 4提问于2015-11-17得票数 2

1回答

如何在aws EMR集群上设置python spark作业的相关组件

pyspark、amazon-emr

我写了一个spark程序，需要在EMR集群上执行。但是python程序使用了一些依赖文件和模块。那么有没有办法在一个正在运行的集群上设置依赖组件呢？我们是否可以挂载s3存储桶并挂载该集群节点，并且可以将所有依赖组件放在s3上？这是一个好主意吗，以及如何使用Python将s3存储桶挂载到电子病历上？

浏览 0提问于2018-10-25得票数 0

1回答

是否有方法在另一个电子病历作业中调用EMR集群的JobFlowId？

java、hadoop、amazon-emr、amazon-swf

我正在执行亚马逊SWF在EMR上的工作。我想在另一个EMR集群中使用这个EMR集群JobFlowID。当前，要将jar步骤添加到我正在使用的EMR集群中如何在另一个工作流中使用此步骤并调用上一个集群的作业流

浏览 2提问于2014-10-01得票数 0

回答已采纳

1回答

用于EMR自动化的AWS数据管道与lambda

amazon-web-services、amazon-s3、lambda、amazon-data-pipeline

下面是我在AWS中应用程序的步骤。据我所查，有两种选择。在AWS lambda事件和lambda上调用S3函数将创建EMR集

浏览 0提问于2018-01-19得票数 1

2回答

boto EMR添加步骤和自动终止

python、amazon-web-services、boto3、emr

Python 2.7.12如何将步骤添加到正在运行的EMR群集中，并在步骤完成后终止群集，而不管该步骤失败或成功？创建集群 Name=name, ReleaseLabel='emr-5.9.0&

浏览 1提问于2017-10-24得票数 11

回答已采纳

点击加载更多