腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
“
EMR
服务角色在创建
EMR
群集时无效”
amazon-web-services
、
amazon-s3
、
hive
在创建了Amazon,my_bucket之后,我通过cli创建了一个弹性地图减少
集群
: 创建-
集群
-名为"Hive测试“--ami-version 3.3 --应用程序Name=Hive --使用默认角色--实例类型m3.xlarge -实例-count 3-steps Type=Hive,Name="Hive Program",Args=-d,
emr
=s3://my_bucket/input,d.OUTPUT生成S3和
EMR
群集后,我将
登录
浏览 0
提问于2015-01-14
得票数 11
回答已采纳
1
回答
在AMAZON上运行纱线应用程序
hadoop
、
amazon-ec2
、
amazon-emr
我想在亚马逊的
EMR
上运行yahoo`s的项目。在
EMR
上,主管本地目录无法创建。我想可能是连接问题还是未经许可。你能给我一些建议吗?谢谢你的帮助。
浏览 1
提问于2017-03-04
得票数 0
2
回答
AWS
EMR
中的Hadoop :关闭终端会杀死hadoop的工作吗?
hadoop
、
amazon-web-services
、
ssh
我正在通过Amazon的上的
集群
运行Hadoop作业。我的终端打开了,在那里我可以进入我的主节点。当我试图关闭我的终端时,我会收到一个警告,所有的进程都会被关闭。这也会毁掉我的Hadoop工作吗?
浏览 2
提问于2014-03-14
得票数 1
回答已采纳
1
回答
使用Lambda打开和拆卸
集群
aws-lambda
、
amazon-cloudformation
、
amazon-emr
我正在尝试使用一个预定的lambda函数来周期性地打开和拆卸
EMR
集群
。我正在考虑通过CloudFormation来实现这一点,也许可以使用lambda来启动一个
EMR
集群
。
浏览 0
提问于2017-02-27
得票数 1
2
回答
AWS
EMR
-如何将文件复制到所有节点?
amazon-emr
有没有办法通过
EMR
命令行将文件复制到
EMR
集群
中的所有节点?我正在与presto工作,并已创建了我的自定义插件。问题是我必须在所有的节点上安装这个插件。我不想
登录
到所有节点并复制它。
浏览 0
提问于2020-10-20
得票数 0
2
回答
在Amazon
EMR
中设置配置单元属性?
amazon-web-services
、
hadoop
、
hive
、
amazon-emr
、
hive-configuration
我正在尝试使用Amazon
EMR
运行配置单元查询,并尝试让Apache Tez使用它,根据我的理解,这需要根据将hive.execution.engine属性设置为tez谢谢!
浏览 4
提问于2015-08-01
得票数 0
1
回答
如何在Oozie中的非HA
集群
上提交工作流作业
alibaba-cloud
在E-MapReduce
集群
中,Oozie用户在阿里云ECS中默认安装了sharelib。我很感谢大家对我的帮助。
浏览 2
提问于2018-11-01
得票数 0
1
回答
是否有可能等到
EMR
集群
被终止?
scala
、
amazon-web-services
、
apache-spark
、
amazon-emr
、
aws-step-config
我正在尝试编写一个组件,它将启动一个
EMR
集群
,在该
集群
上运行一个Spark管道,然后在管道完成后关闭该
集群
。我有两个具体问题: 对
emr
.runJobFlow的调用在提交结果后立即返回。有什么方法可以让它阻塞直到
集群
被
浏览 0
提问于2019-06-13
得票数 2
回答已采纳
2
回答
在引导操作中找不到Hadoop命令
hadoop
、
emr
、
amazon-emr
我有一个
EMR
集群
,它作为引导操作使用来自我的script.sh的s3。其中包括一些hadoop dfs -distcp和hadoop dfs -copyToLocal命令。如果我
登录
到构建好的
EMR
集群
并运行命令,这是绝对好的,但如果我尝试作为引导操作的一部分,它将失败。我要做的操作链是启动
EMR
集群
,从s3自动获取数据,执行分析,生成输出,将输出复制回s3,关闭
集群
谢谢!
浏览 6
提问于2016-04-15
得票数 1
回答已采纳
1
回答
EMR
_EC2_DefaultRole和
EMR
_DefaultRole有什么不同?
amazon-web-services
、
amazon-emr
在aws
emr
启动后,我注意到它有一个ec2实例配置文件
EMR
_EC2_DefaultRole和一个
emr
角色
EMR
_DefaultRole,它们具有类似的权限,那么
EMR
_EC2_DefaultRole和
EMR
_DefaultRole之间有什么不同呢?
浏览 0
提问于2019-01-10
得票数 11
回答已采纳
1
回答
在将状态设置为启动后,我的
emr
群集将因错误而终止。
amazon-web-services
、
cluster
、
amazon-emr
嗨,当我创建
EMR
集群
时。状态说明它正在创建,但是58分钟后,它抛出错误,表示Master - 1: Error provisioning instances。我正在跟踪AWS关于如何创建
EMR
集群
的文档。https://docs.aws.amazon.com/
emr
/latest/ManagementGuide/
emr
-gs.html我哪里出错了?我想成
浏览 0
提问于2022-01-15
得票数 0
回答已采纳
3
回答
使用Airflow dag创建
EMR
群集运行,一旦任务完成,
EMR
将终止
apache-spark
、
hadoop
、
airflow
、
amazon-emr
我有Airflow作业,它们在
EMR
集群
上运行得很好。我需要的是,假设我有4个airflow作业,需要
EMR
集群
20分钟才能完成任务。为什么不呢?我们可以在DAG运行时创建一个
EMR
集群
,一旦作业完成,它将终止创建的
EMR
集群
。
浏览 4
提问于2019-03-19
得票数 2
1
回答
连接到电子病历导入自定义SageMaker模块的Python笔记本
python
、
amazon-emr
、
amazon-sagemaker
我有一个SageMaker笔记本实例,打开了一个连接到AWS
EMR
集群
的SparkMagic Pyspark笔记本。
浏览 9
提问于2019-11-28
得票数 2
1
回答
由HBase支持的
EMR
读取副本无法通过Java连接
amazon-web-services
、
amazon-s3
、
hbase
、
amazon-emr
、
geomesa
我正在尝试将Geomesa与HBase只读
集群
连接起来。当通过AWS服务(使用HBase Java代码)连接到
EMR
集群
时,我得到了以下错误:备注 我能够成功地连接读写
集群
.问题只是只读的 Cluster.Hbase和Geomesa正在正常工作。我可以通过shell获取数据。问题只存在于HBase或Geomesa
浏览 2
提问于2020-03-27
得票数 2
1
回答
是否有方法在另一个电子病历作业中调用
EMR
集群
的JobFlowId?
java
、
hadoop
、
amazon-emr
、
amazon-swf
我正在执行亚马逊SWF在
EMR
上的工作。我想在另一个
EMR
集群
中使用这个
EMR
集群
JobFlowID。当前,要将jar步骤添加到我正在使用的
EMR
集群
中如何在另一个工作流中使用此步骤并调用上一个
集群
的作业流
浏览 2
提问于2014-10-01
得票数 0
回答已采纳
1
回答
如何设置支持Impala的
EMR
集群
?
amazon-web-services
、
hadoop
、
amazon-emr
、
impala
、
apache-kudu
其中一份aws文档声明
EMR
集群
支持impala。但我在创建
EMR
集群
时看不到impala选项。如何在
EMR
集群
中安装impala-shell? 提前谢谢..
浏览 22
提问于2020-06-05
得票数 1
回答已采纳
1
回答
在第一个amazon-
emr
集群
完成时启动另一个amazon-
emr
集群
amazon-web-services
、
amazon-emr
我有一个主
emr
集群
在做一系列的步骤工作,我必须再添加8个步骤。 我面临的问题是,第一个
EMR
集群
对于这8个步骤来说太强大了。因此,我想知道是否有一种简单的方法可以在第一个
集群
完成时自动旋转另一个
集群
(它将从r4.8xlarge降级到r4.xlarge,8到10个实例)。无论硬件是什么,这些步骤都需要4小时,这就是为什么我的目标是降低
集群
的成本。
浏览 0
提问于2019-09-12
得票数 0
1
回答
能否使用数据管道创建具有自动缩放功能的
EMR
集群
amazon-web-services
、
amazon-emr
、
amazon-data-pipeline
、
data-pipeline
我已经通过AWS控制台使用自动缩放策略创建了一个
EMR
集群
。我还创建了一个数据管道,它可以使用这个
集群
来执行这些活动。 我还能够通过数据管道动态创建
EMR
集群
。但是,在这样做时,我无法将自动缩放规则分配给
EMR
集群
。是否有办法通过数据管道将自动缩放角色和其他必需的配置配置到
EMR
集群
?
浏览 1
提问于2017-07-31
得票数 3
1
回答
如何将VPC子网中的
EMR
连接到EC2-经典的红移实例?
amazon-redshift
、
amazon-emr
、
amazon-vpc
我们有一个红移
集群
,不是在VPC中的,我一直试图从VPC中的
EMR
集群
(连接互联网网关)连接到它,到目前为止没有运气。我想知道是否有可能做到这一点。注意-我已经尝试在VPC公共子网中启动一个新的红移群集,并且能够从同一个子网中的
EMR
连接到它。
浏览 0
提问于2020-08-05
得票数 0
回答已采纳
2
回答
AWS阶跃函数中的Pass变量
amazon-web-services
、
aws-lambda
、
amazon-emr
、
aws-step-functions
"Cause": "PreStep unsuccessful" "Spin Up Cluster": { }, "Comment": "Update the environment variables in the
EMR
&
浏览 0
提问于2019-10-14
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
自建Hadoop集群迁移到EMR之数据迁移篇
什么是瞬态集群?解读火山引擎EMR Stateless 的创新理念以及应用
EMR 实战心得浅谈
EMR系统,这些你了解吗?
Komodo Health 公司如何在 EKS 与 EMR 6 上使用多租户 Notebook 平台建立自助服务分析方案
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券