腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
是否
升级
EMR
集群
?
、
、
我在
EMR
上使用Spark、Zeppelin、Hue等配置了一个小的、长期运行的
集群
。我已经配置了色调用户,我在Zeppelin中有几个我正在使用的笔记本。一切都运行良好。但是,我运行的是
emr
-4.3.0,我想
升级
到
emr
-4.5.0映像。我不想重新创建
集群
,因为我需要重新配置所有应用程序,并弄清楚如何传输用户数据(保存的笔记本、色调保存的查询等)。如何将已运行的群集
升级
到最新的
EMR
映像?
浏览 3
提问于2016-04-12
得票数 2
1
回答
从一个群集迁移到另一个群集
、
、
、
我有一个源
emr
集群
,其中包含配置单元元存储作为外部mysql (
emr
版本3.1 )。 我们计划将
集群
升级
到5.11.1。
浏览 10
提问于2018-02-12
得票数 0
1
回答
EMR
群集上未安装火花
、
、
、
我在
EMR
集群
上使用Spark已经有几个星期了,没有问题--设置是使用AMI 3.8.0和Spark1.3.1,我将'-x‘作为一个参数传递给Spark (没有这个参数,它似乎没有安装)。我想
升级
到一个最新版本的星火,今天推出了一个带有
EMR
-4.1.0AMI的
集群
,其中包含了Spark1.5.0。当
集群
启动时,它声称已经成功地安装了Spark (至少在AWS上的
集群
管理页面上),但是当我将ssh安装到'hadoop@IP地址‘时,我没有看到
浏览 3
提问于2015-11-09
得票数 0
回答已采纳
1
回答
是否
有可能等到
EMR
集群
被终止?
、
、
、
、
我正在尝试编写一个组件,它将启动一个
EMR
集群
,在该
集群
上运行一个Spark管道,然后在管道完成后关闭该
集群
。我有两个具体问题: 对
emr
.runJobFlow的调用在提交结果后立即返回。有什么方法可以让它阻塞直到
集群
被
浏览 0
提问于2019-06-13
得票数 2
回答已采纳
1
回答
将
EMR
5.19
升级
至5.20
、
作为
EMR
群集版本的一部分,
升级
到5.20.0。
集群
大数据框架和AWS服务版本中的所有框架都
升级
到了最新版本。也就是说,aws cli无法工作,因为
集群
中的aws配置文件是以区域名为null创建的。配置文件中的错误:区域=空 假设我是一个开发人员或测试人员,当我创建一个新的带有Jenkins管道的
EMR
集群
时,上面的错误应该被解决,aws
浏览 0
提问于2019-01-14
得票数 1
回答已采纳
1
回答
能否使用数据管道创建具有自动缩放功能的
EMR
集群
、
、
、
我已经通过AWS控制台使用自动缩放策略创建了一个
EMR
集群
。我还创建了一个数据管道,它可以使用这个
集群
来执行这些活动。 我还能够通过数据管道动态创建
EMR
集群
。但是,在这样做时,我无法将自动缩放规则分配给
EMR
集群
。
是否
有办法通过数据管道将自动缩放角色和其他必需的配置配置到
EMR
集群
?
浏览 1
提问于2017-07-31
得票数 3
2
回答
动态气流
EMR
连接
、
我有一个气流DAG,它创建一个
EMR
集群
,然后在该
集群
上运行SSHOperator任务。现在,我正在把
EMR
集群
的主公共DNS硬编码成一个气流SSH连接。在创建
EMR
集群
时,我的DAG
是否
可以动态填充这个DNS,这样我就不必手动更新连接了吗?
浏览 0
提问于2019-05-02
得票数 2
回答已采纳
1
回答
当我从
EMR
5.7
升级
到
EMR
5.8时,s3-dist-cp失败并显示OutOfMemoryException
、
、
我从
EMR
5.4开始,并通过most 5.x
升级
,目前我在
EMR
5.7上运行32台机器
集群
,没有问题。 当我尝试
升级
到
EMR
5.8时,s3-dist-cp作业失败,如下所示。/usr/share/aws/
emr
/s3-dist-cp/bin/s3-dist-cp: line 55: 11042 Killed hadoop jar "$S3_
浏览 13
提问于2017-08-22
得票数 3
回答已采纳
1
回答
用纱线客户端代替livy的Sagemaker笔记本到
EMR
火花源
、
、
、
我知道,关于如何通过SparkMagic预装的内核将Sagemaker笔记本连接到
EMR
集群
上,有很好的教程,但是我们希望使用纱线-客户端模式(而不是livy )连接到
集群
,以便能够使用我们已经拥有的Sagemaker在云/ AWS之前,我们使用了内部/自定义的前提设置( hadoop/spark
集群
和jupyter实验室),我们使用了该设置,因此我们知道这是可能的,只是不知道如何在AWS和
EMR
/sagemaker
浏览 8
提问于2022-06-13
得票数 0
1
回答
如何在Flink 1.11中启用度量
我是flink的新手,我正试图在
emr
集群
上从flink 1.8
升级
到flink 1.11。
升级
到flink1.11之后,我看到的一个不同之处是,我没有得到任何度量。
是否
有人有任何指针来定位org.apache.flink.metrics.statsd.StatsDReporterFactory jar,或者如何在flink.1.11中使用度量标准?
浏览 2
提问于2020-10-22
得票数 0
1
回答
在
EMR
中运行并行作业时触发提交配置
、
、
、
我们目前正在使用Datapipeline中的HadoopActivity任务在
EMR
集群
上运行并行Spark作业。默认情况下,较新版本的
EMR
集群
将spark dynamic allocation设置为true,这将根据负载增加/减少所需的执行器数量。那么,我们
是否
需要在spark-submit中设置任何其他属性,例如内核数量、执行器内存等,或者最好是让
EMR
集群
动态处理它?
浏览 2
提问于2017-11-27
得票数 1
1
回答
如何在amazon上启动
emr
集群
?
、
、
我已经在amazon web服务中设置了
EMR
集群
,有1个主服务器和2个从服务器。我不知道
是否
应该使用start-all.sh命令来启动
集群
上的节点。或者,如何启动
EMR
集群
节点?
浏览 2
提问于2016-04-25
得票数 0
1
回答
在重新创建
EMR
群集后保持HDFS状态
、
、
、
在重新创建
emr
群集后,
是否
可以将HDFS存储的状态保留在
emr
群集上?根据我的经验,所有存储在本地的文件都会丢失。
是否
可以选择使用已挂载的卷,例如EFS,并将
EMR
集群
挂载到该文件挂载上?dfs.datanode.data.dir</name> <
浏览 12
提问于2020-03-21
得票数 0
1
回答
监视子网带宽
、
、
我在一个
EMR
(火花
集群
)中有一个批处理作业,它可以批量插入到另一个
EMR
(HBase
集群
)中。两个
EMR
位于同一个私有子网中。是真正的AWS在同一AZ内的EC2实例之间提供了10倍/秒的带宽吗?该带宽
是否
在同一子网中的所有实例之间共享?
浏览 2
提问于2019-10-26
得票数 0
回答已采纳
1
回答
如何轻松地格式化AWS CLI命令
、
、
、
我正在使用AWS
EMR
做大量工作,当您通过AWS管理控制台构建
EMR
集群
时,您可以单击一个按钮来导出创建
EMR
集群
的AWS CLI命令。我可以使用的另一个解决方案是克隆
EMR
集群
,并通过AWS管理控制台
浏览 1
提问于2018-06-21
得票数 1
回答已采纳
2
回答
如何通过Lambda函数在amazon
EMR
上执行spark submit?
、
、
、
、
我想基于S3上的文件上传事件在AWS
EMR
集群
上执行spark提交作业。我正在使用AWS Lambda函数来捕获事件,但我不知道如何从Lambda函数在
EMR
集群
上提交spark提交作业。我搜索的大多数答案都涉及到在
EMR
集群
中添加一个步骤。但我不知道
是否
可以添加add any step来在添加的步骤中触发"spark submit --with args“。
浏览 34
提问于2017-08-21
得票数 16
1
回答
在Amazon
EMR
中安装autogluon
、
、
、
、
我希望能够在由电子病历
集群
支持的笔记本中同时使用Pyspark和AutoGluon库。我尝试使用引导脚本为
EMR
集群
(
emr
-5.30.1)安装AutoGluon,安装sudo python3 -m pip install autogluon如下所示,但失败了 Running setup.py(无法
升级
到更高的版本- mxnet ) 有没有什么方法可以让
EMR
集群
自动工作?
浏览 41
提问于2020-09-15
得票数 0
1
回答
如何在CloudFormation脚本中指定现货实例定价
、
、
我正在CloudFormation脚本中创建一个
EMR
集群
,我能够成功地运行它并构建堆栈,但现在我想知道如何在CF模板中实现现货定价。下面是我为
集群
创建所做的工作: "MyCluster": { "Properties_DefaultRole", "ServiceR
浏览 1
提问于2016-08-25
得票数 0
回答已采纳
2
回答
使用AWS jupyter笔记本绘制Matplotlib
、
、
、
我试图在AWS实例的jupyter笔记本中使用Matplotlib绘制数据。Matplotlib必须在实例启动时通过引导操作安装,这一点我已经成功地完成了。我也成功地用这种方式安装了Pandas (并将其用于笔记本中的各种东西)。典型的%matplotlib inline不工作。(事实上,在AWS笔记本上似乎没有神奇的命令。我怀疑AWS已经禁用了这些功能,或者这与笔记本的“无服务器”有关)。 安装matplotlib==1.5,安装ipympl,并使用i
浏览 0
提问于2019-03-31
得票数 4
1
回答
在将状态设置为启动后,我的
emr
群集将因错误而终止。
、
、
嗨,当我创建
EMR
集群
时。状态说明它正在创建,但是58分钟后,它抛出错误,表示Master - 1: Error provisioning instances。我正在跟踪AWS关于如何创建
EMR
集群
的文档。https://docs.aws.amazon.com/
emr
/latest/ManagementGuide/
emr
-gs.html我哪里出错了?我想成
浏览 0
提问于2022-01-15
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
自建Hadoop集群迁移到EMR之数据迁移篇
什么是瞬态集群?解读火山引擎EMR Stateless 的创新理念以及应用
EMR 实战心得浅谈
更多iPhone升级曝光,市场是否买账?
Apache Spark 3.0新特性在FreeWheel核心业务数据团队的应用与实战
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券