腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
是否
升级
EMR
集群
?
amazon-web-services
、
emr
、
amazon-emr
我在
EMR
上使用Spark、Zeppelin、Hue等配置了一个小的、长期运行的
集群
。我已经配置了色调用户,我在Zeppelin中有几个我正在使用的笔记本。一切都运行良好。但是,我运行的是
emr
-4.3.0,我想
升级
到
emr
-4.5.0映像。我不想重新创建
集群
,因为我需要重新配置所有应用程序,并弄清楚如何传输用户数据(保存的笔记本、色调保存的查询等)。如何将已运行的群集
升级
到最新的
EMR
映像?
浏览 3
提问于2016-04-12
得票数 2
1
回答
从一个群集迁移到另一个群集
hadoop
、
hive
、
emr
、
amazon-emr
我有一个源
emr
集群
,其中包含配置单元元存储作为外部mysql (
emr
版本3.1 )。 我们计划将
集群
升级
到5.11.1。
浏览 10
提问于2018-02-12
得票数 0
1
回答
EMR
群集上未安装火花
amazon-web-services
、
amazon-ec2
、
apache-spark
、
amazon-emr
我在
EMR
集群
上使用Spark已经有几个星期了,没有问题--设置是使用AMI 3.8.0和Spark1.3.1,我将'-x‘作为一个参数传递给Spark (没有这个参数,它似乎没有安装)。我想
升级
到一个最新版本的星火,今天推出了一个带有
EMR
-4.1.0AMI的
集群
,其中包含了Spark1.5.0。当
集群
启动时,它声称已经成功地安装了Spark (至少在AWS上的
集群
管理页面上),但是当我将ssh安装到'hadoop@IP地址‘时,我没有看到
浏览 3
提问于2015-11-09
得票数 0
回答已采纳
1
回答
是否
有可能等到
EMR
集群
被终止?
scala
、
amazon-web-services
、
apache-spark
、
amazon-emr
、
aws-step-config
我正在尝试编写一个组件,它将启动一个
EMR
集群
,在该
集群
上运行一个Spark管道,然后在管道完成后关闭该
集群
。我有两个具体问题: 对
emr
.runJobFlow的调用在提交结果后立即返回。有什么方法可以让它阻塞直到
集群
被
浏览 0
提问于2019-06-13
得票数 2
回答已采纳
1
回答
将
EMR
5.19
升级
至5.20
amazon-web-services
、
amazon-emr
作为
EMR
群集版本的一部分,
升级
到5.20.0。
集群
大数据框架和AWS服务版本中的所有框架都
升级
到了最新版本。也就是说,aws cli无法工作,因为
集群
中的aws配置文件是以区域名为null创建的。配置文件中的错误:区域=空 假设我是一个开发人员或测试人员,当我创建一个新的带有Jenkins管道的
EMR
集群
时,上面的错误应该被解决,aws
浏览 0
提问于2019-01-14
得票数 1
回答已采纳
1
回答
能否使用数据管道创建具有自动缩放功能的
EMR
集群
amazon-web-services
、
amazon-emr
、
amazon-data-pipeline
、
data-pipeline
我已经通过AWS控制台使用自动缩放策略创建了一个
EMR
集群
。我还创建了一个数据管道,它可以使用这个
集群
来执行这些活动。 我还能够通过数据管道动态创建
EMR
集群
。但是,在这样做时,我无法将自动缩放规则分配给
EMR
集群
。
是否
有办法通过数据管道将自动缩放角色和其他必需的配置配置到
EMR
集群
?
浏览 1
提问于2017-07-31
得票数 3
2
回答
动态气流
EMR
连接
python
、
airflow
我有一个气流DAG,它创建一个
EMR
集群
,然后在该
集群
上运行SSHOperator任务。现在,我正在把
EMR
集群
的主公共DNS硬编码成一个气流SSH连接。在创建
EMR
集群
时,我的DAG
是否
可以动态填充这个DNS,这样我就不必手动更新连接了吗?
浏览 0
提问于2019-05-02
得票数 2
回答已采纳
1
回答
当我从
EMR
5.7
升级
到
EMR
5.8时,s3-dist-cp失败并显示OutOfMemoryException
amazon-s3
、
emr
、
amazon-emr
我从
EMR
5.4开始,并通过most 5.x
升级
,目前我在
EMR
5.7上运行32台机器
集群
,没有问题。 当我尝试
升级
到
EMR
5.8时,s3-dist-cp作业失败,如下所示。/usr/share/aws/
emr
/s3-dist-cp/bin/s3-dist-cp: line 55: 11042 Killed hadoop jar "$S3_
浏览 13
提问于2017-08-22
得票数 3
回答已采纳
1
回答
用纱线客户端代替livy的Sagemaker笔记本到
EMR
火花源
python
、
pyspark
、
amazon-emr
、
amazon-sagemaker
我知道,关于如何通过SparkMagic预装的内核将Sagemaker笔记本连接到
EMR
集群
上,有很好的教程,但是我们希望使用纱线-客户端模式(而不是livy )连接到
集群
,以便能够使用我们已经拥有的Sagemaker在云/ AWS之前,我们使用了内部/自定义的前提设置( hadoop/spark
集群
和jupyter实验室),我们使用了该设置,因此我们知道这是可能的,只是不知道如何在AWS和
EMR
/sagemaker
浏览 8
提问于2022-06-13
得票数 0
1
回答
如何在Flink 1.11中启用度量
apache-flink
我是flink的新手,我正试图在
emr
集群
上从flink 1.8
升级
到flink 1.11。
升级
到flink1.11之后,我看到的一个不同之处是,我没有得到任何度量。
是否
有人有任何指针来定位org.apache.flink.metrics.statsd.StatsDReporterFactory jar,或者如何在flink.1.11中使用度量标准?
浏览 2
提问于2020-10-22
得票数 0
1
回答
在
EMR
中运行并行作业时触发提交配置
apache-spark
、
parallel-processing
、
emr
、
amazon-data-pipeline
我们目前正在使用Datapipeline中的HadoopActivity任务在
EMR
集群
上运行并行Spark作业。默认情况下,较新版本的
EMR
集群
将spark dynamic allocation设置为true,这将根据负载增加/减少所需的执行器数量。那么,我们
是否
需要在spark-submit中设置任何其他属性,例如内核数量、执行器内存等,或者最好是让
EMR
集群
动态处理它?
浏览 2
提问于2017-11-27
得票数 1
1
回答
如何在amazon上启动
emr
集群
?
amazon-web-services
、
hadoop
、
amazon-emr
我已经在amazon web服务中设置了
EMR
集群
,有1个主服务器和2个从服务器。我不知道
是否
应该使用start-all.sh命令来启动
集群
上的节点。或者,如何启动
EMR
集群
节点?
浏览 2
提问于2016-04-25
得票数 0
1
回答
在重新创建
EMR
群集后保持HDFS状态
amazon-web-services
、
hadoop
、
hdfs
、
amazon-emr
在重新创建
emr
群集后,
是否
可以将HDFS存储的状态保留在
emr
群集上?根据我的经验,所有存储在本地的文件都会丢失。
是否
可以选择使用已挂载的卷,例如EFS,并将
EMR
集群
挂载到该文件挂载上?dfs.datanode.data.dir</name> <
浏览 12
提问于2020-03-21
得票数 0
1
回答
监视子网带宽
amazon-web-services
、
amazon-emr
、
amazon-vpc
我在一个
EMR
(火花
集群
)中有一个批处理作业,它可以批量插入到另一个
EMR
(HBase
集群
)中。两个
EMR
位于同一个私有子网中。是真正的AWS在同一AZ内的EC2实例之间提供了10倍/秒的带宽吗?该带宽
是否
在同一子网中的所有实例之间共享?
浏览 2
提问于2019-10-26
得票数 0
回答已采纳
1
回答
如何轻松地格式化AWS CLI命令
amazon-web-services
、
aws-cli
、
emr
、
amazon-emr
我正在使用AWS
EMR
做大量工作,当您通过AWS管理控制台构建
EMR
集群
时,您可以单击一个按钮来导出创建
EMR
集群
的AWS CLI命令。我可以使用的另一个解决方案是克隆
EMR
集群
,并通过AWS管理控制台
浏览 1
提问于2018-06-21
得票数 1
回答已采纳
2
回答
如何通过Lambda函数在amazon
EMR
上执行spark submit?
amazon-web-services
、
apache-spark
、
aws-lambda
、
amazon-emr
、
spark-submit
我想基于S3上的文件上传事件在AWS
EMR
集群
上执行spark提交作业。我正在使用AWS Lambda函数来捕获事件,但我不知道如何从Lambda函数在
EMR
集群
上提交spark提交作业。我搜索的大多数答案都涉及到在
EMR
集群
中添加一个步骤。但我不知道
是否
可以添加add any step来在添加的步骤中触发"spark submit --with args“。
浏览 34
提问于2017-08-21
得票数 16
1
回答
在Amazon
EMR
中安装autogluon
python
、
amazon-web-services
、
jupyter-notebook
、
amazon-emr
、
mxnet
我希望能够在由电子病历
集群
支持的笔记本中同时使用Pyspark和AutoGluon库。我尝试使用引导脚本为
EMR
集群
(
emr
-5.30.1)安装AutoGluon,安装sudo python3 -m pip install autogluon如下所示,但失败了 Running setup.py(无法
升级
到更高的版本- mxnet ) 有没有什么方法可以让
EMR
集群
自动工作?
浏览 41
提问于2020-09-15
得票数 0
1
回答
如何在CloudFormation脚本中指定现货实例定价
amazon-web-services
、
amazon-cloudformation
、
amazon-emr
我正在CloudFormation脚本中创建一个
EMR
集群
,我能够成功地运行它并构建堆栈,但现在我想知道如何在CF模板中实现现货定价。下面是我为
集群
创建所做的工作: "MyCluster": { "Properties_DefaultRole", "ServiceR
浏览 1
提问于2016-08-25
得票数 0
回答已采纳
2
回答
使用AWS jupyter笔记本绘制Matplotlib
amazon-web-services
、
matplotlib
、
amazon-ec2
、
pyspark
我试图在AWS实例的jupyter笔记本中使用Matplotlib绘制数据。Matplotlib必须在实例启动时通过引导操作安装,这一点我已经成功地完成了。我也成功地用这种方式安装了Pandas (并将其用于笔记本中的各种东西)。典型的%matplotlib inline不工作。(事实上,在AWS笔记本上似乎没有神奇的命令。我怀疑AWS已经禁用了这些功能,或者这与笔记本的“无服务器”有关)。 安装matplotlib==1.5,安装ipympl,并使用i
浏览 0
提问于2019-03-31
得票数 4
1
回答
在将状态设置为启动后,我的
emr
群集将因错误而终止。
amazon-web-services
、
cluster
、
amazon-emr
嗨,当我创建
EMR
集群
时。状态说明它正在创建,但是58分钟后,它抛出错误,表示Master - 1: Error provisioning instances。我正在跟踪AWS关于如何创建
EMR
集群
的文档。https://docs.aws.amazon.com/
emr
/latest/ManagementGuide/
emr
-gs.html我哪里出错了?我想成
浏览 0
提问于2022-01-15
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
自建Hadoop集群迁移到EMR之数据迁移篇
什么是瞬态集群?解读火山引擎EMR Stateless 的创新理念以及应用
EMR 实战心得浅谈
更多iPhone升级曝光,市场是否买账?
滴滴 Elasticsearch 集群跨版本升级与平台重构之路
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券