腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何通过
Cloudformation
在
EMR
上运行Spark作业
amazon-web-services
、
apache-spark
、
pyspark
、
amazon-cloudformation
、
amazon-emr
我刚刚开始使用亚马逊网络服务,并且一直在使用电子病历和
CloudFormation
。我
的
目标是编写一个
Cloudformation
模板
,它将: 1.Create an
EMR
cluster with Spark and Hadoop installed 2. Run Spark jobs on the
EMR
cluster.Jobs will be submitted as a JAR or
Pyspark
files. 我已经能够成功地完成
步骤
1
浏览 11
提问于2019-01-12
得票数 4
1
回答
Pyspark
EMR
中
步骤
的
Cloudformation
模板
apache-spark
、
pyspark
、
amazon-cloudformation
、
amazon-emr
我正在尝试使用AWS
cloudformation
创建一个
EMR
集群。在我需要提供多个.py压缩文件
的
EMR
Pyspark
工作
中
,我使用了以下
步骤
参数。job,cdn,--start_date,'2021-04-14',--end_date,'2021-04-14'" 此EMRStepArgs将作为云表单.yaml文件
中
电子病历
步骤
的
参数提供 我在
EMR</
浏览 14
提问于2021-04-28
得票数 0
2
回答
如何在
CloudFormation
模板
中
设置STEP(AWS::
EMR
::Step)优先级
amazon-cloudformation
在
CloudFormation
模板
中
,我创建了一个
EMR
集群,并使用AWS::
EMR
::Step资源添加了两个Hive
步骤
。我通过将
CloudFormation
模板
传递给它来创建Stack。但是,当
EMR
创建时,很多时候第二步首先执行所有的DML语句,但是由于DB & table模式不存在,它失败了。我希望设置优先级,以便每次HIVE
步骤
首先执行。感谢你在这方面的帮助。
浏览 0
提问于2017-05-17
得票数 0
0
回答
在启动时自动更改AWS
EMR
的
hive-site-xml
的
好方法是什么
amazon-web-services
、
apache-spark
、
emr
要允许像Microstrategy这样
的
BI工具使用Spark SQL访问AWS
EMR
集群上
的
数据,您必须向hive-site.xml添加一个属性。我们正在使用
CloudFormation
模板
自动提升电子病历集群,但尚未找到在此过程
中
更改xml
的
适当方法(而不是编写
步骤
)。你有什么意见建议?
浏览 10
提问于2016-12-22
得票数 0
回答已采纳
1
回答
用
CloudFormation
创建
的
EMR
集群未显示
amazon-web-services
、
amazon-cloudformation
、
emr
、
amazon-emr
我在堆栈
中
添加了一个
EMR
集群。在成功地更新堆栈(
CloudFormation
)之后,我可以看到EC2控制台中
的
主从节点,并且可以将SSH放到主节点中。但是AWS控制台没有显示新集群。甚至连aws
emr
list-clusters都没有显示集群。我已经三次检查了这个区域,我确信我正在寻找正确
的
区域。相关
的
CloudFormation
JSON: "Type":
浏览 0
提问于2018-04-23
得票数 2
回答已采纳
1
回答
如何在
Cloudformation
中
设置
EMR
步骤
并发性?
amazon-web-services
、
amazon-cloudformation
、
amazon-emr
正在尝试使用
Cloudformation
设置
EMR
群集。 当您通过控制台创建它时,有一个
步骤
并发
的
选项。它也在aws cli
中
,但我在
Cloudformation
anywhere中看不到它。这是如何使用cli完成
的
: aws
emr
modify-cluster --cluster-id j-2AXXXXXXGAPLF --step-concurrency-level 10
浏览 22
提问于2020-04-03
得票数 0
2
回答
EMR
引导操作何时运行?
hadoop
、
amazon-web-services
、
apache-spark
、
pyspark
服务器一直被终止说 有什么线索吗? 谢谢!
浏览 3
提问于2016-05-12
得票数 3
回答已采纳
1
回答
是否可以通过
Cloudformation
在AWS datapipeline
中
创建数组管道对象?
amazon-web-services
、
amazon-cloudformation
、
amazon-data-pipeline
来为
EMR
集群创建一系列
步骤
。现在,如果我想使用
CloudFormation
创建管道,我可以使用AWS::DataPipeline::Pipeline资源类型
中
的
PipelineObjects属性来配置管道。下面是一个对应
的
cloudformation
模板
: "MyEMRCluster" : { "Type" : "AWS::D
浏览 1
提问于2017-03-24
得票数 1
1
回答
AWS IAM用户角色或策略自包含
amazon-web-services
、
aws-sdk
、
amazon-iam
我想在IAM
中
创建一个用户,它基本上可以对该用户自己创建
的
资源执行任何操作(创建、修改、删除)。 这将包括创建其他角色,并再次policies...but仅允许控制由父用户本身创建
的
资源
的
角色。目的是能够创建一个
CloudFormation
模板
,该
模板
可以由非管理员用户运行,但仍然可以创建所需
的
所有资源(包括实例配置文件和lambda执行角色等内容)。我有一种感觉,这可以在政策文件
中
的
条件下实现,但不确定具体如何实现
浏览 5
提问于2016-04-29
得票数 2
1
回答
如何在
CloudFormation
脚本中指定现货实例定价
amazon-web-services
、
amazon-cloudformation
、
amazon-emr
我正在
CloudFormation
脚本
中
创建一个
EMR
集群,我能够成功地运行它并构建堆栈,但现在我想知道如何在CF
模板
中
实现现货定价。下面是我为集群创建所做
的
工作: "MyCluster": { "Properties_DefaultRole",
浏览 1
提问于2016-08-25
得票数 0
回答已采纳
1
回答
我们可以将安全组添加到Terraform aws_
cloudformation
_stack资源吗?
emr
、
amazon-cloudformation
、
terraform
为了做到这一点,我调用资源"aws_
cloudformation
_stack“,然后附加
cloudformation
模板
来启动
EMR
。它现在工作了,我希望我
的
EMR
为ssh连接打开22个入站端口。
浏览 0
提问于2016-04-21
得票数 0
回答已采纳
2
回答
当我使用自定义AMI时AWS
EMR
配置失败
amazon-web-services
、
amazon-ec2
、
amazon-emr
、
amazon-ami
问题:I在
cloudformation
模板
中
定义了一个
EMR
集群(以及许多其他资源)。我使用api来提供堆栈。它能工作,我可以成功地提供堆栈。然后,我做了一个更改:我为我
的
EMR
集群指定了一个自定义AMI。现在,当我提供堆栈时,
EMR
配置失败了。我更新了<em
浏览 0
提问于2019-02-07
得票数 0
回答已采纳
2
回答
如何使用AWS Lambda在AWS
EMR
上运行
PySpark
amazon-web-services
、
pyspark
、
aws-lambda
、
amazon-emr
如何通过AWS Lambda使我
的
PySpark
代码与AWS
EMR
一起运行?我是否必须使用AWS Lambda创建一个自动终止
的
EMR
群集来运行一次S3存储
的
代码?
浏览 0
提问于2020-06-03
得票数 0
2
回答
带有yarn调度程序
的
aws
emr
hadoop-yarn
、
amazon-cloudformation
、
amazon-emr
我正在使用
cloudformation
模板
创建AWS
EMR
。我需要并行运行这些
步骤
。为此,我尝试将纱线调度程序从FIFO更改为公平/容量调度程序。yarn.resourcemanager.scheduler.class : 'org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler' 是否需要在conf.empty文件夹
中
添加如果我想通过云表单
模板
添加fairsch
浏览 0
提问于2019-01-08
得票数 0
1
回答
通过
cloudformation
模板
形成时,AWS cloudwatch警报无法访问
EMR
集群指标
中
的
数据
amazon-web-services
、
amazon-cloudformation
、
amazon-emr
、
amazon-cloudwatch
{ "Metadata": { }, "AWS::
CloudFormation
&qu
浏览 0
提问于2020-05-22
得票数 1
1
回答
在
EMR
步骤
中使用AWS
EMR
、python
pyspark
脚本
amazon-web-services
、
apache-spark
、
amazon-s3
、
pyspark
、
emr
我尝试在aws
emr
中
运行一个非常简单
的
pyspark
脚本作为
步骤
,如下所示:sc = SparkContext()dd.write.csv(write_to, sep = ";", header = True)它从文件夹
中</e
浏览 2
提问于2018-04-22
得票数 0
1
回答
emr
上并行运行
的
提交函数
pyspark
、
boto3
、
amazon-emr
我正在提交在电子病历上并行运行
的
步骤
。我这样做是通过在s3路径上使用
pyspark
代码保存python脚本。然后,我使用下面的boto代码提交与
emr
并行
的
步骤
。这些
步骤
运行我在脚本文件中保存到s3
的
代码。相反,我想创建一个函数,如下面的"read_write“示例函数,以执行我在保存
的
python脚本中所做
的
相同操作。这样,我就不必在我试图并行运行
的
每一步中都将一个python脚本文件保
浏览 5
提问于2022-08-24
得票数 0
1
回答
在Amazon
EMR
中
通过
CloudFormation
模板
指定安全配置
amazon-web-services
、
amazon-cloudformation
、
amazon-emr
在创建
EMR
集群时,您可以指定我之前创建
的
安全配置。如何从JSON
cloudformation
模板
中指定此选项?
浏览 5
提问于2017-02-09
得票数 2
2
回答
将火花数据转换为熊猫数据- ImportError:熊猫>= 0.19.2必须安装
python
、
pandas
、
dataframe
、
pyspark
、
amazon-emr
我正在尝试在木星
的
笔记本上使用
EMR
。我试着跟着错误走。 pip --no-cache-dir install pandas --userimport Pandas as pd名为“Pandas”
的
模块ModuleNotFoundError:没有名为“Pan
浏览 16
提问于2020-06-24
得票数 1
2
回答
在
EMR
上运行
pyspark
脚本
python
、
apache-spark
目前,我使用EC2s集群使用预配置
的
./ec2目录自动化了Apache脚本。出于自动化和调度
的
目的,我想使用Boto
EMR
模块向集群发送脚本。$: MASTER=spark://<insert
EMR
master node of cluster here/bin/
pyspa
浏览 4
提问于2014-04-25
得票数 25
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
亚马逊发布AWS CloudFormation宏功能
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
Docker发布了用于简化在AWS ECS和Fargate中部署的插件
Komodo Health 公司如何在 EKS 与 EMR 6 上使用多租户 Notebook 平台建立自助服务分析方案
编程字典-详细的PySpark环境设置
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券