腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
EMR
中
的
所有
从
节点
上
运行
自定义
shell
脚本
hadoop
、
amazon-emr
、
aws-step-functions
AWS步骤文档说步骤只
在
主
节点
上
执行,这是否意味着即使我登录到任何
从
节点
并在其
上
执行add - Step命令,该命令也只会将步骤添加到主
节点
上
?那么,我如何在
所有
从
节点
上
执行
自定义
shell
脚本
呢?引导不是一个选项,因为
shell
脚本
要求已经创建了emrf-site.xml,这在
EMR
浏览 6
提问于2019-10-18
得票数 2
1
回答
在
所有
spark executors和驱动程序
上
执行
脚本
或小函数,而不使用DataFrame或RDD
apache-spark
、
ssl
、
apache-kafka
、
spark-structured-streaming
、
data-partitioning
因此,我需要将私有CA证书安装/导入到spark驱动程序和执行器
上
的
TrustStore文件
中
。我不能在主spark submit命令之前使用单独
的
步骤导入证书,因为spark
脚本
是动态提交
的
(
从
s3下载)。s3
中
的
这个spark
脚本
包含有关私有CA证书文件(.pem)所在位置(
在
单独
的
s3位置
上
)
的
信息。 我查找了一些方法来做到这一点
浏览 6
提问于2020-07-12
得票数 0
1
回答
如何确保
所有
EMR
核心
节点
在任何时候都包含密钥存储文件?
amazon-web-services
、
amazon-emr
我需要一个
EMR
上
的
所有
核心
节点
在/usr/local/spark/conf/目录
中
包含一个keystore文件。当核心
节点
继续调整大小时,这就特别具有挑战性,因为任何新提出
的
核心
节点
都将没有keystore文件,甚至没有/usr/local/spark/conf/目录。我需要自动化在任何新启动
的
核心
节点</e
浏览 0
提问于2019-06-27
得票数 2
回答已采纳
1
回答
如何在没有HDFS或
EMR
引导步骤
的
所有
工作
节点
上
创建文件
amazon-web-services
、
apache-spark
、
hdfs
、
amazon-emr
我
在
EMR
-5.30集群
上
运行
ApacheSpark2.4.5。我
的
驱动程序
节点
正在做一些工作,
从
外部服务
中
检索数据,因此我可以将其放入文本文件
中
,并将副本分发给
所有
工作
节点
。我想出了一些可能
的
解决方案,用于向
所有
工作
节点
分发文件,但意识到这些解决方案是行不通
的
: 使用
EMR
引导操作提交
运行
<
浏览 1
提问于2021-07-06
得票数 0
1
回答
如何在
EMR
集群
的
所有
节点
上
执行
shell
脚本
?
hadoop
、
amazon-web-services
、
amazon-emr
在
运行
中
的
EMR
集群
中
的
每个
节点
上
是否有正确
的
方法来执行
shell
脚本
? 我查找
的
所有
内容都会显示引导操作,但这只适用于集群启动时,而不适用于正在
运行
的
集群。我
的
应用程序使用python,所以我目前
的
猜测是使用boto列出集群
中
每个
节点
的
i
浏览 1
提问于2016-03-19
得票数 2
1
回答
在
电子病历
从
设备
上
运行
命令?
apache-spark
、
hadoop-yarn
、
emr
、
amazon-emr
我正在尝试使用pip install在
所有
从
机器
上
更新正在
运行
的
EMR
集群。我该怎么做呢? 我不能使用bootstrap步骤来完成它,因为它是一个长时间
运行
的
EMR
,我不能将其删除。
EMR
集群正在
运行
Spark & Yarn,所以我通常会使用spark slaves.sh,但我
在
主
节点
上
找不到该
脚本
。是不是安装在我找不到
浏览 0
提问于2016-12-01
得票数 9
2
回答
当我使用
自定义
AMI时AWS
EMR
配置失败
amazon-web-services
、
amazon-ec2
、
amazon-emr
、
amazon-ami
问题:I
在
cloudformation模板
中
定义了一个
EMR
集群(以及许多其他资源)。我使用api来提供堆栈。它能工作,我可以成功地提供堆栈。然后,我做了一个更改:我为我
的
EMR
集群指定了一个
自定义
AMI。现在,当我提供堆栈时,
EMR
配置失败了。
自定义
AM
浏览 0
提问于2019-02-07
得票数 0
回答已采纳
1
回答
更新引导程序操作时,如何在AWS
EMR
上
重新
运行
引导程序操作?
amazon-web-services
、
amazon-emr
我需要在
EMR
集群
上
安装一些python包,
在
创建集群时,我可以
在
EMR
的
bootstrap操作
中
写下一些pip install blabla...命令,这些安装命令将在为集群分配机器时
运行
。好
的
,如果现在创建了集群,稍后我需要安装一些没有
在
引导程序操作
中
写入
的
其他新包,该怎么办?我没有找到任何针对这种情况
的
方法,我是否必须使用新
的
引导操作重新创
浏览 1
提问于2017-04-05
得票数 1
3
回答
如何在Amazon
EMR
上
重新启动HDFS
hadoop
、
hdfs
、
emr
我
在
Amazon
EMR
群集
上
对HDFS
的
设置进行了一些更改。我想重新启动namenode和datanode以使更改生效。我
在
namenode(master)和datanodes
上
都找不到任何这样做
的
启动和停止
脚本
。重启集群
的
方式应该是什么?
浏览 4
提问于2015-08-25
得票数 2
3
回答
AWS
EMR
如何调整尺寸
hadoop
、
amazon-web-services
、
apache-spark
、
emr
、
amazon-emr
今天我
在
使用AWS电子病历时,想到了一些问题。
在
apache
中
,我们可以修改slaves文件以更改添加或删除
节点
。但是我
在
电子病历中找到了slaves文件,它只包含localhost,我找不到任何其他配置来指示
从
服务器在哪里。
EMR
如何在主
节点
中添加或删除
节点
而不重
浏览 8
提问于2016-03-29
得票数 1
回答已采纳
1
回答
如何在aws
EMR
集群
上
设置python spark作业
的
相关组件
pyspark
、
amazon-emr
我写了一个spark程序,需要在
EMR
集群
上
执行。但是python程序使用了一些依赖文件和模块。那么有没有办法
在
一个正在
运行
的
集群
上
设置依赖组件呢?我们是否可以挂载s3存储桶并挂载该集群
节点
,并且可以将
所有
依赖组件放在s3
上
?这是一个好主意吗,以及如何使用Python将s3存储桶挂载到电子病历
上
?
浏览 0
提问于2018-10-25
得票数 0
2
回答
执行
shell
脚本
作为
EMR
上
的
步骤之一
amazon-web-services
、
hadoop
我们正在考虑将Hadoop基础设施
从
数据中心迁移到AWS
EMR
。由于ETL过程
中
的
某些任务/阶段是依赖
的
,例如,流就像
Shell
脚本
将步骤1
中
生成
的
数据移动到输出位置。
在
EMR
中
,我们可以为
自定义
Jar、Pig、Hive找到步骤,但没有找到执行
shell
脚本
的
选项。我们必
浏览 0
提问于2016-02-18
得票数 4
1
回答
Amazon web服务
EMR
:
在
Slave (核心/任务)
节点
中安装依赖项
python-2.7
、
boto3
、
amazon-emr
我是AWS
EMR
的
新手,我
从
EMR
中
的
shell
脚本
安装我
的
python库依赖项。使用boto3框架,我能够检索ID。response =
emr
_client.l
浏览 2
提问于2018-03-27
得票数 0
1
回答
将相同
的
EBS快照附加到每个
EMR
卷
上
?
hadoop
、
emr
、
mrjob
我想在
EMR
作业中使用EBS快照。因为映射程序从快照
中
读取,所以我希望
在
每个
节点
上
挂载快照。除了登录到每个
节点
之外,还有其他简单
的
方法吗?我想我可以做我
的
mapreduce工作
的
第一步来挂载它,但这似乎是错误
的
。有更简单
的
方法吗?
浏览 0
提问于2015-12-07
得票数 0
回答已采纳
2
回答
提供带有
自定义
文件
的
EMR
节点
java
、
hadoop
、
amazon-emr
、
nutch
我试图
在
AWS
EMR
集群
上
运行
带有Apache依赖项
的
jar。问题是,Nutch找不到插件类(我在用-Dplugin.folders指定插件位置)。我
在
本地测试了这个选项,它
运行
良好:java -cp app.jar -Dplugin.folders=./nutch-plugins。nutch-plugins s3a:///mybucket/ hadoop jar app.jar -Dplugin.folders=s3
浏览 0
提问于2019-07-24
得票数 1
回答已采纳
1
回答
从
Git分支安装Python包
python
、
apache-spark
、
pip
、
amazon-emr
我通常通过星火
的
install_pypi_package方法
在
电子病历
中
安装软件包。这限制了我可以
从
哪里安装软件包。如何
从
特定
的
GitHub分支安装包?
浏览 3
提问于2021-09-27
得票数 1
回答已采纳
1
回答
如何在
EMR
中
向任务
节点
添加
自定义
节点
标签
apache-spark
、
hadoop-yarn
、
amazon-emr
、
spot-instances
、
cost-optimization
我只想在AWS
EMR
集群
中
的
任务
节点
上
运行
我
的
火花执行器,而纱线标签是实现这一目标的方法之一。我可以
在
提交火花时指定标签。我想实现以下目标
在
群集start-up.Associate期间,向
在
自动缩放.期间加入我
的
集群
的
任何
节点
添加
自定义
标签。我想这样做,这样我就可以通过确保
所有
的执行者都能在现场
运行
来降低集
浏览 7
提问于2021-05-28
得票数 0
4
回答
在
每个
EMR
/ Yarn
节点
上
运行
Unix命令
hadoop
、
hadoop-yarn
、
emr
我想在Amazon集群
的
每个
节点
上
安装一个Python模块。显然,这样做
的
方法是对每个
节点
执行ssh,并在命令行
中
安装它。我认为seems是
在
集群
中
的
每个
节点
上
运行
相同JAR文件
的
一种方式,但是seems
的
"jar“命令似乎
在
本地系统
上
运行
。
浏览 7
提问于2015-12-13
得票数 3
回答已采纳
1
回答
将文件
从
FTP下载到amazon
EMR
amazon-emr
我需要从FTP服务器下载文件到amazon
EMR
,我有一个
shell
脚本
来下载文件,但它在linux计算机上工作,而不是
在
amazon
EMR
namenode
中
。我没有收到任何错误,终端在
运行
shell
脚本
后没有显示任何内容。 注意:我已经
在
主安全组
上
启用了端口。我知道将FTP下载到s3然后再下载amazon
EMR
的
另一种方法,但我需要直接将文件下载到Ama
浏览 1
提问于2014-06-23
得票数 0
2
回答
在
AWS
EMR
集群
上
使用SparkLauncher时缺少SPARK_HOME
amazon-web-services
、
apache-spark
、
pyspark
、
emr
、
amazon-emr
我使用
的
是
EMR
5.0和Spark 2.0.0。我正在尝试使用org.apache.spark.launcher.SparkLauncher
从
Scala spark应用程序
运行
子spark应用程序 })谢谢!
浏览 18
提问于2016-09-15
得票数 10
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
EMR 实战心得浅谈
AWS EMR在搭建大数据平台ETL中的应用实践
自建Hadoop集群迁移到EMR之数据迁移篇
bash shell中这些特殊符号的作用
Linux#9 Shell的人机交互-输出篇
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券