腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
有没有
办法
使用
Java
在
Amazon
EMR
集群
上
运行
命令
?
java
、
amazon-web-services
、
amazon-emr
就像我想要在
集群
上
执行基本的
命令
,比如mkdir,cd,curl等等,但是
使用
java
编程。
浏览 11
提问于2021-09-08
得票数 0
1
回答
如何在aws
EMR
集群
上
设置python spark作业的相关组件
pyspark
、
amazon-emr
我写了一个spark程序,需要在
EMR
集群
上
执行。但是python程序
使用
了一些依赖文件和模块。那么
有没有
办法
在
一个正在
运行
的
集群
上
设置依赖组件呢?我们是否可以挂载s3存储桶并挂载该
集群
节点,并且可以将所有依赖组件放在s3
上
?这是一个好主意吗,以及如何
使用
Python将s3存储桶挂载到电子病历
上
?
浏览 0
提问于2018-10-25
得票数 0
1
回答
在
最后一次触发后减速-提交完成(或失败)+ xxx时间
apache-spark
、
timestamp
、
emr
我
使用
的是
Amazon
的
EMR
集群
,但我没有
使用
add steps。我想要一种方法来关闭
集群
,例如,它已经闲置了3天。如果我要构建它,我很可能只会在
集群
上
运行
一个历史
命令
,并查找最后一个spark-submit
命令
。
有没有
更好的方法?
浏览 5
提问于2017-03-10
得票数 0
回答已采纳
2
回答
如何从非
EMR
节点访问S3
上
的Hbase
java
、
hbase
、
amazon-emr
我正在尝试访问
EMR
上
的hbase,以便从
运行
在
EMR
集群
节点之外的
java
应用程序中进行读写。
在
ECS
集群
/EC2实例
上
运行
的坞应用程序。hbase根文件夹类似于s3://<bucketname/。但是,当它是hbase
在
S3
上
,并试图实现同样的,我得到了以下例外。Caused by:
java
.lang.Runti
浏览 3
提问于2021-03-29
得票数 0
回答已采纳
1
回答
如何在slurm管理的自动伸缩
集群
上
设置Rstudio,sparklyR?
rstudio
、
autoscaling
、
slurm
、
sparklyr
我有一个由slurm管理的aws HPC自动扩展
集群
,我可以
使用
sbatch提交作业,但是我想在此
集群
上
使用
spraklyr,以便slurm根据R脚本中sparklyr代码的工作负载增加
集群
大小。
浏览 39
提问于2021-05-21
得票数 0
回答已采纳
1
回答
EMR
_EC2_DefaultRole和
EMR
_DefaultRole有什么不同?
amazon-web-services
、
amazon-emr
在
aws
emr
启动后,我注意到它有一个ec2实例配置文件
EMR
_EC2_DefaultRole和一个
emr
角色
EMR
_DefaultRole,它们具有类似的权限,那么
EMR
_EC2_DefaultRole和
EMR
_DefaultRole之间有什么不同呢?
浏览 0
提问于2019-01-10
得票数 11
回答已采纳
1
回答
在
ResourceManager启动后,
在
引导脚本中
运行
操作
hadoop
、
amazon-web-services
、
elastic-map-reduce
我正在
使用
amazon
AWS cli工具启动aws
EMR
集群
。我有一个
在
主服务器
上
运行
的boostrap操作,并
运行
以下
命令
但是,我得到了以下错误 put: Call FromX.internal/X1 to X.internal:9000 failed on connection exc
浏览 5
提问于2015-02-26
得票数 1
1
回答
如何在aws
EMR
上
更改yarn计划程序配置?
amazon-web-services
、
hadoop-yarn
与HortonWorks或Cloudera不同,AWS
EMR
似乎没有提供任何图形用户界面来更改各种hadoop生态系统框架的xml配置。登录到我的
EMR
namenode并快速我发现它位于/etc/hadoop/conf.empty/yarn-site.xml,而capacity-scheduler我知道我可以
在
创建
集群
时更改这些配置,但我需要知道的是如何能够
在
不拆分
集群
的情况下更改它们。
浏览 2
提问于2017-04-14
得票数 14
回答已采纳
1
回答
如何在
amazon
上
启动
emr
集群
?
amazon-web-services
、
hadoop
、
amazon-emr
我已经
在
amazon
web服务中设置了
EMR
集群
,有1个主服务器和2个从服务器。我不知道是否应该
使用
start-all.sh
命令
来启动
集群
上
的节点。或者,如何启动
EMR
集群
节点?
浏览 2
提问于2016-04-25
得票数 0
1
回答
如果我是IAM组的一员,我需要什么样的权限才能在AWS
上
创建一个
EMR
集群
?
amazon-web-services
、
amazon-ec2
、
amazon-iam
、
amazon-emr
、
aws-permissions
我试图创建一个
EMR
集群
,因为我的用户是AWS
上
的IAM组的一部分,但我做不到,它说“您没有创建角色的权限”。“无法创建群集”
浏览 19
提问于2022-07-29
得票数 0
1
回答
本地Eclipse中的Apache Nutch 1.9将在
Amazon
EMR
上
远程
运行
java
、
eclipse
、
hadoop
、
amazon-web-services
、
nutch
我
使用
的是32位Windows 8,
运行
的是Eclipse Juno。我现在正在尝试从我的Eclipse内部
浏览 2
提问于2015-04-20
得票数 0
2
回答
Sagemaker Studio Pyspark示例失败
amazon-web-services
、
pyspark
、
jupyter-notebook
、
amazon-sagemaker
当我尝试
在
Sagemaker Studio中
使用
PySpark
运行
Sagemaker时,提供了一些示例 import os # to learn how to connect to a remote
EMR
call last) <ipython-input-6-c8f6fff0daaf> in &l
浏览 20
提问于2021-01-18
得票数 2
回答已采纳
1
回答
不
使用
aws凭据连接Redshift和Python (
运行
在
emr
上
)
python
、
database
、
amazon-web-services
、
amazon-redshift
嗨,我是AWS世界的新手,我
在
连接Python到Redshift数据库方面需要帮助。
在
没有
使用
任何第三方服务的情况下,我如何才能不提供凭据,因为我正在电子病历
上
运行
它。
浏览 2
提问于2021-12-06
得票数 0
1
回答
Amazon
EMR
上
的sqoop安装
amazon-s3
、
sqoop
、
amazon-emr
我正在尝试按照Kyle Mulka的博客"“中描述的步骤
在
Amazon
EMR
集群
上
安装Sqoop。.我可以看到一个名为SQOOP-INSTALL的
EMR
作业正在
集群
上
运行
,但过了一段时间后,该作业会自动取消。我尝试查看在
EMR
作业
运行
期间生成
浏览 3
提问于2013-11-04
得票数 2
1
回答
Spark:报告
集群
的总内存和可用内存
scala
、
apache-spark
、
cluster-computing
、
amazon-emr
、
elastic-map-reduce
我
在
Amazon
EMR
上
运行
Spark作业;我希望从程序本身中持续报告
集群
的总内存和可用内存。Spark API中
有没有
什么方法可以提供关于
集群
内存的信息?
浏览 3
提问于2018-06-06
得票数 0
1
回答
Amazon
Web Service
EMR
定价
amazon-web-services
、
amazon-ec2
、
amazon-emr
当我
在
EMR
集群
中创建和
运行
步骤时。亚马逊开始充电的确切时间是什么时候?是否包含
集群
启动、引导、销毁时间费用?
浏览 1
提问于2017-07-01
得票数 2
2
回答
在
EMR
星火上
使用
木星笔记本
amazon-web-services
、
apache-spark
、
amazon-ec2
、
jupyter-notebook
、
amazon-emr
我是新的火花和AWS,我试图安装木星
在
我的星系团(
EMR
),我不能打开木星笔记本
在
我的浏览器
在
最后。我可以访问EC2实例的IP地址以及端口22和8080。I不允许访问
EMR
集群
的IP地址。以下是我正在采取的步骤:
浏览 0
提问于2016-05-19
得票数 4
2
回答
在
Amazon
EMR
中设置配置单元属性?
amazon-web-services
、
hadoop
、
hive
、
amazon-emr
、
hive-configuration
我正在尝试
使用
Amazon
EMR
运行
配置单元查询,并尝试让Apache Tez
使用
它,根据我的理解,这需要根据将hive.execution.engine属性设置为tez 我知道配置单元属性通常可以
使用
set hive.{...}设置,也可以
在
hive-site.xml中设置,但我不知道这两个属性如何与
Amazon
EMR
交互/
在
Amazon
EMR
中如何实现。那么:<
浏览 4
提问于2015-08-01
得票数 0
1
回答
在所有spark executors和驱动程序
上
执行脚本或小函数,而不
使用
DataFrame或RDD
apache-spark
、
ssl
、
apache-kafka
、
spark-structured-streaming
、
data-partitioning
我正在尝试
使用
Spark Structured Streaming从Kafka topic中读取数据。Kafka Broker启用了SSL。我不能在主spark submit
命令
之前
使用
单独的步骤导入证书,因为spark脚本是动态提交的(从s3下载)。s3中的这个spark脚本包含有关私有CA证书文件(.pem)所在位置(
在
单独的s3位置
上
)的信息。 我查找了一些方法来做到这一点。我可以创建一个虚拟的DataFrame,并尝试将它们分发到所有的执行器
上
,但这种解决方案并不总是有效的(例如
浏览 6
提问于2020-07-12
得票数 0
1
回答
这有可能从AWS
EMR
获得纱线应用状态吗?
java
、
amazon-web-services
、
apache-spark
、
hadoop-yarn
、
emr
上下文这些应用程序是由Yarn策划的。期望/问题那么,可以从AWS
EMR
获得纱线应用状态吗?
在
我的应用程序中,我管理一些
EMR
对象实例,例如:
浏览 2
提问于2017-11-13
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
AWS EMR在搭建大数据平台ETL中的应用实践
如何构建智能湖仓架构?亚马逊工程师的代码实践
AWS推出Apache Airflow全托管工作流MWAA
使用 AWS Lake Formation 配合 Amazon EMR 控制数据访问与权限
Apache Spark 3.0新特性在FreeWheel核心业务数据团队的应用与实战
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券