我对此非常陌生，我想每天在0900创建一个emr集群，并在1300使用cloudwatch事件触发器再次终止它。我希望这通过一个lambda(python)来实现，而不是创建两个lambda，一个用于创建，一个用于终止。请帮帮我 import boto3
response = clie
浏览 22提问于2021-06-24得票数 0
回答已采纳
我们目前正在为我们的一个应用程序建立电子病历集群，由于我们希望电子病历设置具有弹性，因此我们希望在不同于主要电子病历集群AZ的AZ中创建一个StandBy电子病历集群。但是，如果主EMR群集AZ宕机，我们不确定如何自动故障切换到辅助EMR。
有什么想法吗？
浏览 1提问于2017-06-14得票数 1
我在AWS上运行了一个EMR集群，我的北草坪会议大楼的目标组指向EMR集群主节点的IP，当这个集群终止并再次创建时，我希望目标组使用lambda函数指向集群的新IP。
我该怎么做呢？我将使用AWS事件桥每五分钟触发一次lambda功能，谢谢您的帮助！
浏览 0提问于2021-06-08得票数 1
回答已采纳
如何通过AWS Lambda使我的PySpark代码与AWS EMR一起运行？我是否必须使用AWS Lambda创建一个自动终止的EMR群集来运行一次S3存储的代码？
浏览 0提问于2020-06-03得票数 0
1回答
当提交给它的所有步骤都是'COMPLETED'|'CANCELLED'|'FAILED'|'INTERRUPTED'时，我正试图弄清楚如何成功地终止EMR集群。有三个Lambda函数。Lambda 1:做一些工作并创建EMR。通过传递步骤触发Lambda 2，并通过事件触发集群ID。
Lambda 2:将从L
浏览 1提问于2020-05-28得票数 0
回答已采纳
我想在工作时间启动一个集群，并在18:00和周末后终止它。这些集群将用于datascience项目。几年前，我们会使用一个无聊的crontab来做这件事，但现在我更喜欢使用lambda函数。在boto3中，我可以启动一个集群(感谢Jose Quinteiro)，这篇文章很好地描述了它。
如何在boto3中使用与启动时相同的lambda函数终止集群？
浏览 4提问于2018-04-11得票数 1
1回答
我想调用多个火花作业使用火花提交在单个EMR集群内。EMR支持这一点吗？如何做到这一点？在这个时候，我使用AWS Lambda来调用EMR作业，但是我们希望扩展到单个EMR集群中的多个火花作业。
浏览 3提问于2019-03-31得票数 1
然而，我的容器只运行几分钟(最多10分钟)，一旦运行完成，就会使用cloudwatch规则关闭EC@ is。
浏览 0提问于2018-04-19得票数 0
3回答
因此，只有当我接收到触发器事件时，我才希望使用与此触发器事件一起到达的输入来执行火花作业。由于触发事件并不频繁，所以我不想使用星火流。我的目标是在AWS EMR集群中部署该工具。我希望能够按需创建EMR集群(按触发器)，在那里执行Spark作业并关闭群集。有什么好的例子说明如何处理Scala中的这些操作吗？
浏览 2提问于2018-02-02得票数 1
回答已采纳
3回答
目前，我手头有一项任务，要在一段时间后(基于某种度量)终止长期运行的EMR集群。Google在下面列出的所谓“集群计划删除”中具有此功能：编辑：需要更多的澄清。我想要一些功能，其中的集群是终止的基础上闲置了一些时间。例如，如果集群已
浏览 0提问于2018-04-12得票数 11
回答已采纳
我想基于S3上的文件上传事件在AWS EMR集群上执行spark提交作业。我正在使用AWS Lambda函数来捕获事件，但我不知道如何从Lambda函数在EMR集群上提交spark提交作业。我搜索的大多数答案都涉及到在EMR集群中添加一个步骤。但我不知道是否可以添加add any step来在添加的步骤中触发"spark submit --with args“。
浏览 34提问于2017-08-21得票数 16
我有JSON字符串的Spark模式，但是我不知道从哪里开始，因为这是我第一次处理AWS EMR和一般的大数据：
我是否可以将作业提交给服务中的EMR集群，或者是否必须使用脚本创建的JAR文件创建一个步骤是使用AWS在服务中创建EMR集群，还是首先通过控制台创建EMR集群？我尝试使用默认设置从控制台创建EMR集群，但是当我使用消息“由用户终止”
浏览 0提问于2019-09-07得票数 0
但是，我发现数据管道启动每个计划的持续时间，而SWF启动和结束工作，这也关闭了我的EMR集群。这两种方法在这种情况下都不合适。因此，对于一个必须根据条件启动或触发的进程，我发现两者都不合适。
浏览 1提问于2015-02-04得票数 1
回答已采纳
我的工作流程如下：
将数据从S3上传到Redshift。不过，我还想不出如何实现自动化，这样我的过程就会产生一个EMR集群，引导正确的安装程序，并运行我的python脚本，它将包含用于解析和编写的代码。有没有人有任何例子，教程，或经验，他们可以与我分享，以帮助我学习如何做到这一点？
浏览 7提问于2016-04-19得票数 17
回答已采纳
1回答
我有一个用例，在这个用例中，我将向集群提交动态数量的作业，因此选择通过lambda的SDK提交作业，而不是将提交作业作为step函数中的任务添加。EMR集群将每周使用一次，因此希望选择onDemand变体。
从Step函数创建集群时，不支持"“参数。在所有作业完成后，是否有其他方法来终止群集？
浏览 5提问于2020-09-03得票数 1
回答已采纳
1回答
使用boto3库，我希望创建一个EMR集群，然后使用云监视事件创建基于集群更改的事件。EventPattern (string) -事件模式。有关更多信息，请参见“亚马逊CloudWatch事件用户指南”中的CloudWatch。，但是EMR提供了。如果我要遵循为EMR<em
浏览 12提问于2017-11-07得票数 1
1回答
最近，亚马逊推出了，我想重新定位使用的现有数据管道编排:有一些步骤可以创建EMR集群、运行一些lambda函数、提交火花作业(大部分是Scala作业使用火花提交)，并最终终止集群。有些文档和github示例描述了从编排框架(如AirFlow )提交作业的情况，但没有描述如何在EMR中使用AWS函数。在这方面的任何帮助都将受到赞赏。首先，我感兴趣的是重新定义arn:aws:states:::elasticmapredu
浏览 7提问于2022-06-10得票数 1
2回答
我是非常新的AWS步骤函数和AWS Lambda函数，并可能真的需要一些帮助。", "End": true }下面的代码描述了我的CustomCreate-PreStep-Function Lambda如您所见，我试图使用Lambda函数返回变量FoundNecessaryFiles，状态为true/false，具体取决于是否找到了该文件，并使用该值
浏览 0提问于2019-10-14得票数 3
回答已采纳
5回答
但是我不明白如何在EMR集群上使用oozie。通过一些搜索，我了解到aws并不附带oozie，所以我们明确地将其安装为引导程序操作。大多数人指向此链接谢谢
浏览 0提问于2014-03-12得票数 3
2回答
我对AWS Step函数和AWS Lambda函数非常陌生，我真的需要一些帮助来让EMR集群通过Step函数运行。我不确定的是如何处理与EMR群集相关的步骤。
在我目前的结构中，第一项任务是建立一个EMR集群。这可以通过直接使用Step函数JSON来完成，或者最好是使用我位于我的EMR-cluster-setup.json桶上的JSON集群Config文件(名为S3 )。我只需要在EMR</
浏览 3提问于2019-10-14得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
