腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
电子病历群集挂起的步骤状态为“Running/Pending”
java
、
amazon-web-services
、
amazon-emr
我正在通过java SDK启动一个带有自定义jar步骤的
EMR
集群。集群启动是成功的,但是在引导之后,当步骤处于挂起/运行状态时,集群就会卡住。我甚至不能在机器上使用ssh。|| dataTrasnferJar.isEmpty()) "
EMR
customJarConfig)
浏览 27
提问于2020-04-04
得票数 1
1
回答
如何在Cloudformation中设置
EMR
步骤并发性?
amazon-web-services
、
amazon-cloudformation
、
amazon-emr
正在尝试使用Cloudformation设置
EMR
群集。 当您通过控制台创建它时,有一个步骤并发的选项。它也在aws cli中,但我在Cloudformation anywhere中看不到它。这是如何使用cli完成的: aws
emr
modify-cluster --cluster-id j-2AXXXXXXGAPLF --step-concurrency-level 10
浏览 22
提问于2020-04-03
得票数 0
1
回答
支持Amazon
EMR
上的Hadoop 1.0.1作业
hadoop
、
emr
我使用java和hadoop 1.0.1
开发
了一些MR作业。但是,
EMR
仅支持Hadoop 0.20。是否可以在
EMR
上运行Hadoop 1.0.1作业,或者我是否必须降级我的库栈以符合
EMR
hadoop版本?
浏览 3
提问于2012-04-07
得票数 3
回答已采纳
2
回答
Amazon
EMR
S3A支持
amazon-web-services
、
apache-spark
、
amazon-s3
、
amazon-emr
Amazon
EMR
does not currently support use of the Apache Hadoop S3A file system, The s3a:// URI is notcompatible with Amazon
EMR
说:我和Spark一起
开发
了Amazon
EMR
,基于亚马逊()的这篇文档。(注意:我使用的是"com.amazonaws" % "aws-java-sdk-s3" % "1.11.286",<
浏览 2
提问于2018-07-31
得票数 0
3
回答
可以从另一个步骤函数调用一个步骤函数吗?
amazon-web-services
、
aws-lambda
、
aws-step-functions
在AWS (
EMR
)中,可以从另一个步骤函数调用一个步骤函数吗?我正在
开发
一个步骤函数,在停止
EMR
之前,我必须在
EMR
中包含Step函数。我已附上附件供您参考。请帮帮我。 非常感谢。
浏览 0
提问于2018-10-25
得票数 6
回答已采纳
2
回答
AWS:云的形成:是否可以在"DependsOn“中使用一个列表,其中只需要做一个
amazon-web-services
、
aws-lambda
、
amazon-cloudformation
我有一个CF模板,运行一系列
EMR
步骤。中间的一个步骤取决于这是月度报告还是年度报告。所以它使用了一个条件,如果它是每月的步骤运行,如果它是每年运行的步骤运行。
浏览 18
提问于2022-01-12
得票数 0
3
回答
对EC2上Hadoop的建议?
amazon-ec2
、
hadoop
、
mapreduce
在EC2中运行Hadoop时,我似乎有两个选项:
浏览 7
提问于2011-02-11
得票数 2
回答已采纳
2
回答
有没有办法使用CloudFormation/Terraform创建
EMR
安全配置
amazon-web-services
、
amazon-cloudformation
、
aws-cli
、
amazon-emr
、
terraform
我想归档类似于CLI命令的逻辑: aws
emr
create-security-configuration --name name --security-configuration ...并在Terraform
浏览 2
提问于2016-12-27
得票数 1
1
回答
当我使用submit和java -cp运行spark应用程序时,有什么区别呢?
java
、
apache-spark
案例1: .appName("Test")案例2: .appName("Test") .master("loc
浏览 1
提问于2019-03-15
得票数 2
回答已采纳
2
回答
Spark Thrift服务器与Apache Thirft的关系
apache-spark
我阅读了,它告诉我服务器与有关,这是一种二进制通信协议。Spark Thrift服务器是Hive的接口,但是Spark Thrift服务器如何使用Apache Thrift通过二进制协议/rpc与Hive通信?
浏览 27
提问于2017-08-14
得票数 5
回答已采纳
1
回答
在AWS
EMR
中找不到SPARK_CONF
amazon-web-services
、
apache-spark
、
amazon-emr
我正在尝试在
EMR
中部署一个spark应用程序,并面临以下问题。java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)我正在使用
emr
浏览 1
提问于2015-11-04
得票数 1
1
回答
AWS电子病历的连续集成
amazon-web-services
、
travis-ci
、
amazon-emr
、
aws-code-deploy
我们有一个长期运行的
EMR
集群,它使用引导操作安装了多个库。其中一些库正在进行持续
开发
,它们的代码库都在GitHub上。我一直在寻找插入特拉维斯CI与AWS电子
EMR
类似的方式特拉维斯和CodeDeploy。这样做的目的是让GitHub上的代码测试并自动部署到
EMR
中,同时使用引导操作在所有
EMR
节点上安装更新的库。之后,将在实例上触发一个午餐脚本,以便使用更新的库创建一个新的
EMR
集群。还有其他建议
浏览 5
提问于2017-12-28
得票数 3
回答已采纳
1
回答
使用python中的类方法更新dict值
python
、
class
、
dictionary
、
oop
= default_
emr
_config 但是,我现在必须定义一个名为"set_default_
emr
_config“的新方法来提示用户将键:值对的值更新为新的值。', "hospital_campus": 'PSOM', "
emr
_vendor": 'Epic'}): self.default_
emr
_config = default_
emr
_configdef set_default_<
浏览 21
提问于2020-10-20
得票数 0
回答已采纳
2
回答
如何为每个从Amazon应用程序上传到S3的请求设置用户代理(前缀)
hadoop
、
amazon-emr
AWS已经要求我正在
开发
的产品识别它代表他们向我们的用户的S3资源发出的请求,以便他们能够评估其影响。 为了实现这一点,我们必须为针对来自
EMR
应用程序的S3桶完成的每个上传请求设置用户代理头。当从
EMR
应用程序上传文件时,我需要实现类似的目标。
浏览 1
提问于2019-09-06
得票数 1
回答已采纳
1
回答
将用户数据传递给
EMR
EC2实例
amazon-web-services
、
amazon-ec2
、
amazon-emr
EC2有一种在StackOverflow和AWS上提供UserData的文档化的方法: 然而,在启动
EMR
集群时,似乎不支持传递此类信息。我的目标是手动设置
EMR
EC2机器的主机名。
浏览 4
提问于2021-03-03
得票数 0
3
回答
如何在SQL中求和列中的值
sql
、
sql-server
我在SQL中有以下查询: ,[APDERM] ,[RAD
EMR
ORDERS] FROM [database].
浏览 3
提问于2014-04-10
得票数 0
回答已采纳
1
回答
阻止aws账户进入按需使用
amazon-web-services
、
amazon-ec2
我们在我们的AWS账户中购买了一组预留实例,用于我们的
EMR
集群。多个
开发
人员创建
EMR
集群,将预留实例从我们的AWS帐户中拉出,如果超出限制,它将进入按需模式,这将使其非常昂贵。
浏览 3
提问于2020-02-20
得票数 0
1
回答
AWS
EMR
:寻找AWS
EMR
命令来终止木星
EMR
笔记本中的星系团
amazon-web-services
、
jupyter-notebook
我的用例是:在企业环境中,我使用附加到AWS
EMR
集群的AWS
EMR
笔记本(Python/PySpark/Spark内核)中的敏感数据(因此权限有限)。与其一直监视我的笔记本,在停止我的笔记本和终止我的集群之前等待单元格完成,我希望能够排队等待终止AWS
EMR
集群的单元格。 为此,在阅读其他这样的帖子/文档的基础上,我需要我的cluster-id。aws
emr
list-clusters --active --query "Clusters[*].
浏览 2
提问于2020-12-21
得票数 1
1
回答
没有storm和flink的
开发
指南吗?
官方文档
image.png[附加信息]
浏览 556
提问于2018-09-10
1
回答
亚马逊
EMR
与亚马逊红移
amazon-web-services
、
amazon-redshift
、
amazon-emr
、
amazon-redshift-spectrum
尽管如此,我看到这些转换可以在
EMR
和Redshift中完成,而Redshift加载和转换只需较少的
开发
时间。 那么,
EMR
是否应该用于主要涉及流/无界数据的用例?其他的用例是
EMR
更可取的(我知道Spark也提供了其他核心、sql、ml库),但是仅仅为了实现转换(包括连接/还原),除了在
EMR
内部流之外,我没有看到一个用例,当转换也可以在Redshift中实现时请提供用例什么时候使用
EMR
转换与红移转换。
浏览 1
提问于2019-07-24
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
EMR 实战心得浅谈
EMR系统,这些你了解吗?
朴朴基于AWS EMR的数据沙盒平台演变
电子病历EMR源码 病历编辑器源码
使用 AWS Lake Formation 配合 Amazon EMR 控制数据访问与权限
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券