我使用数据管道来调度emr作业。到目前为止，我使用的是emr集群的统一实例组。我想尝试使用实例队列来减少对特定实例类型和可用区的依赖。但在查看数据管道文档()时，找不到实例机队配置的任何参数。如何在数据管道</em
浏览 15提问于2019-11-29得票数 0
回答已采纳
1回答
下面是我在AWS中应用程序的步骤。
据我所查，有两种选择。在AWS lambda事件和lambda上调用S3函数将创建EMR集群并进行
浏览 0提问于2018-01-19得票数 1
3回答
因此，只有当我接收到触发器事件时，我才希望使用与此触发器事件一起到达的输入来执行火花作业。由于触发事件并不频繁，所以我不想使用星火流。我的目标是在AWS EMR集群中部署该工具。我希望能够按需创建EMR集群(按触发器)，在那里执行Spark作业并关闭群集。有什么好的例子说明如何处理Scala中的这些操作吗？
浏览 2提问于2018-02-02得票数 1
回答已采纳
1回答
我已经使用数据管道设置了EMR集群，但是在我的step功能状态显示完成后，集群将被终止。我在我的step函数中执行一个python脚本，它在后台生成一个火花作业。在使用数据管道服务在EMR上成功运行step功能之后，如何使集群可用？
浏览 1提问于2017-10-10得票数 0
目前，正在尝试在亚马逊网络服务上运行一个利用RDS和EC2实例的定量数据处理管道。有一部分流水线需要大量的计算能力，但不是任务或时间关键型的，因此我想在这一点上使用EC2 spot实例集群。我一直在考虑使用AWS Data pipeline产品来构建管道。但是，我不确定如何集成spot实例。AWS文档建议，spot实例可以在使用
浏览 0提问于2016-01-27得票数 0
1回答
我是AWS的新手。我已经通过AWS控制台使用自动缩放策略创建了一个EMR集群。我还创建了一个数据管道，它可以使用这个集群来执行这些活动。
我还能够通过数据管道动态创建EMR集群。但是，在这样做时，我无法将自动缩放规则分配给EMR集群。是否有办法通过数据管道将自动缩放角色和其他必需的配置配置到<
浏览 1提问于2017-07-31得票数 3
1回答
我想使用AWS数据管道来执行ETL流程。假设我的流程有一个很小的输入文件，并且我想使用自定义的jar或python脚本进行数据转换。我看不出有任何理由要使用集群EMR来完成这个简单的数据步骤。因此，我想在一个EC2单实例中执行这个数据步骤。
看看AWS EMR对象，我只看到了使用</e
浏览 2提问于2015-10-06得票数 2
我正在尝试将一个实例角色附加到我通过数据管道运行的集群。我想运行我自己的映射器脚本，它需要对DynamoDB的写权限(“常规”配置单元上传不会对我起作用)。我看过API文档，似乎EMR可以为机器指定实例角色，但在数据管道API中不支持。
请在这里确认这一点，并希望听到您是否有其他解决方案..
浏览 2提问于2015-02-05得票数 3
1回答
如何将其导出到S3？在我的初步试验中，管道工作花了一个小时，但是失败了。java.lang.OutOfMemoryError:超过GC开销限制
我通过以下向EMR集群中的实例提供一个hadoop-env配置对象，从而增加了namenode堆<em
浏览 10提问于2020-08-29得票数 4
回答已采纳
2回答
如何将许多数据从实例移动到S3？
、、、、
我在一个AWS Oracle RDS实例中的一个表(大约70亿行)中有大量数据。最终的结果是，我希望该表作为管道分隔的值存储在S3中，这样我就可以将它读入电子病历中。这基本上是一次性的事情，所以我需要它准确地工作，并且不需要重新运行整个上传，因为某些东西超时了；我并不关心它是如何工作的，或者设置它有多困难/烦人。我在Oracle框上有根访问权限。我看过数据</em
浏览 3提问于2015-03-03得票数 1
回答已采纳
我通过AWS管理控制台上的常规EMR集群向导创建了一个AWS集群，并且我能够选择一个安全配置，例如，当您导出CLI命令时，它是--security-configuration 'mySecurityConfigurationValue现在我需要通过AWS数据管道创建一个类似的EMR，但是我看不到任何选项可以指定这个安全配置字段。我看到的唯一类似的字段是EmrManagedSlaveSecurityGroup、EmrManagedMasterS
浏览 0提问于2018-05-15得票数 1
回答已采纳
1回答
我们创建了Data Pipeline作业，然后在Architect Wizard中编辑Resources部分。我们在核心实例计数下放置了20个实例，但是在数据管道作业激活之后，创建的EMR集群只有一个主实例和一个核心实例。
你可以建议我们，如何在资源部分增加内核的数量吗
浏览 0提问于2017-02-24得票数 2
2回答
目前，当EMR集群主机停止(关机行为:停止而不是终止)时，我们会丢失集群，因为EMR的架构考虑到一旦主机关闭，集群就会终止。我们所处的世界中，硬件故障非常常见，将来EMR主机可能会出现故障，那么我们如何恢复存储在EMR集群上的数据呢？类似地，如果核心节点关闭并尝试硬重新启动(停止并启动)；终止核心节点，则配置的核心节点将启动以满
浏览 4提问于2017-01-18得票数 1
我试图了解如何部署使用Kinesis库(KCL)构建的应用程序。
使用Ant脚本来运行Java程序。这是最好的做法吗？而且，我甚至在运行EC2实例之前就已
浏览 5提问于2014-07-04得票数 10
回答已采纳
在aws emr启动后，我注意到它有一个ec2实例配置文件EMR_EC2_DefaultRole和一个emr角色EMR_DefaultRole，它们具有类似的权限，那么EMR_EC2_DefaultRole和EMR_DefaultRole之间有什么不同呢？
浏览 0提问于2019-01-10得票数 11
回答已采纳
我在原始hadoop集群中有一定数量的数据(在我的本地网络中)，在Amazon S3 hadoop集群中有一定数量的数据。在这两个地方，我的数据都驻留在蜂窝表中。我想从本地hadoop集群中触发一个hive查询，这个查询应该加入来自我的本地集群单元表的数据和来自amazon集群</em
浏览 0提问于2014-09-10得票数 1
回答已采纳
如果我想要长时间运行EMR集群，然后要在该集群上设置数据管道，我如何才能做到呢？
我必须在这个EMR集群上安装任务运行程序吗？或者任务运行程序会被预先安装？或者还有其他简单的方法？
浏览 0提问于2017-02-12得票数 0
回答已采纳
我已经在亚马逊EC2上建立了一个Hadoop集群，提供了NameNode/DataNode和其他一些服务。我的摄取作业将数据带入EC2 HDFS集群(比方说hdfs://ec2-hdfs/)。现在我有了一个以每周批处理的方式运行的管道。我正在启动一个新的Amazon EMR集群来运行我的计算。一旦处理完成，我将终止EMR集群
浏览 10提问于2019-07-16得票数 0
AWS最近提供了将EBS卷附加到特定集群实例类型(如M4)的可能性。虽然可以使用EMR附加EBS卷，但我似乎无法通过AWS数据管道找到这样做的方法。我是不是遗漏了什么？
浏览 2提问于2016-05-05得票数 0
回答已采纳
我正在尝试使用AWS Data PipeLine在电子病历集群中设置一个运行spark作业的流程。我们的流程按“随需应变”计划运行。作为本活动的一部分，我们首先在管道中创建一个EMR集群，然后希望在一个emr集群上并行运行多个spark作业。
有没有一个我们可以用“随需应变”的时间表在数据管道上运行并行作业。
浏览 0提问于2017-09-22得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
