腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
在没有
EMR
的AWS上运行HDFS集群
amazon-web-services
、
hadoop
、
amazon-ec2
、
hdfs
、
google-cloud-dataproc
有一种解决方案说,我可以将数据保存在S3存储桶中,并在每次启动
EMR
集群时加载它。然而,这是重复的,特别是如果数据很大的话,就会产生巨大的开销。
浏览 3
提问于2020-05-04
得票数 1
回答已采纳
2
回答
Amazon
EMR
S3A支持
amazon-web-services
、
apache-spark
、
amazon-s3
、
amazon-emr
Amazon
EMR
does not currently support use of the Apache Hadoop S3A file system, The s3a:// URI is notcompatible with Amazon
EMR
说:我和Spark一起开发了Amazon
EMR
,基于亚马逊()的这篇文档。(注意:我使用的是"com.amazonaws" % "aws-java-sdk-s3" % "1.11.286",
EMR</e
浏览 2
提问于2018-07-31
得票数 0
1
回答
oozie协调器中的Spark作业错误-
emr
:无法从空字符串创建路径
apache-spark
、
oozie
、
emr
、
oozie-coordinator
<workflow> </action></workflow-app> 我的意思是,当我这样做的时候;oozie
浏览 3
提问于2017-09-13
得票数 2
2
回答
AWS
EMR
上的0.6.0
amazon-web-services
、
amazon-emr
、
apache-hudi
有人能帮助我在AWS
EMR
版本6.0.0上正确安装Hudi 0.6.0吗?我认为AWS添加了一些自定义脚本,以使Hudi在
EMR
中正常工作
浏览 71
提问于2020-09-08
得票数 0
1
回答
电子病历输出到S3
python
、
amazon-s3
、
emr
我正在
EMR
按需服务器上运行Python脚本(没有命名的
EMR
集群)。作为我的本地
系统
,它在给定输入和输出时工作得很好。我想使用S3存储桶作为我的输入和输出。请参阅下面的命令。但是只将输出显示到我的本地
系统
,而不是S3。你能帮帮我吗?$ python WordFrequency.py -r
emr
--region us-east-1 s3://mybucket/Input/Book.txt s3://mybucket/Output
浏览 1
提问于2017-05-17
得票数 1
1
回答
EMR
_EC2_DefaultRole和
EMR
_DefaultRole有什么不同?
amazon-web-services
、
amazon-emr
在aws
emr
启动后,我注意到它有一个ec2实例配置文件
EMR
_EC2_DefaultRole和一个
emr
角色
EMR
_DefaultRole,它们具有类似的权限,那么
EMR
_EC2_DefaultRole和
EMR
_DefaultRole之间有什么不同呢?
浏览 0
提问于2019-01-10
得票数 11
回答已采纳
1
回答
使用Oracle异构服务进行左连接错误转换
sql
、
oracle
、
join
、
heterogeneous
我的查询如下所示:from join_email@DG4 emLEFT JOIN join_EMAIL_CC@DG4 emcc on emcc.email_id=em.email_id whereem.sender = 'bmdrrfh@gmail.com' and
emr
.receive
浏览 0
提问于2014-10-29
得票数 0
1
回答
电子病历上的检查点s3p链路
amazon-s3
、
apache-flink
、
amazon-emr
在
EMR
的flink中,我遇到了s3p检查点的问题。由: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:导致的无法为方案“s3p”找到文件
系统
实现如果您想要为该方案使用Hadoop文件
系统
,请将该方案添加到Configurationfs.输入法备份文件
系统
中。有关支持的文件
系统
的完整列表,请参见
浏览 1
提问于2020-11-03
得票数 0
回答已采纳
1
回答
电子病历如何处理输入和输出的s3桶?
python
、
apache-spark
、
amazon-emr
我正在旋转一个
EMR
集群,我已经创建了指定的存储桶,但是我应该如何上传数据并从中读取呢?
浏览 0
提问于2017-11-09
得票数 3
回答已采纳
1
回答
如果有一种方法在运行时获取有关SparkMetrics配置的信息
amazon-web-services
、
apache-spark
、
amazon-emr
、
metrics
因此,我想在运行时检查SparkMetrics子
系统
的加载设置。是否有可能这样做?我查了一下SparkEnv.get.metricsSystem,但没有找到。
浏览 0
提问于2019-03-01
得票数 0
回答已采纳
1
回答
Webdriver、PhantomJS和亚马逊弹性Mapreduce
amazon-web-services
、
webdriver
、
selenium-webdriver
、
phantomjs
、
elastic-map-reduce
是否可以在Amazon Elastic Mapreduce的AMI上安装Webdriver和PhantomJS?如果我使用sudo apt-get来安装一个bootstrap脚本中的所有依赖项,这个bootstrap是必须在我每次运行任务时都运行,还是它们会一直保留在那里?有没有办法预先构建它并复制S3的源代码?这里有什么推荐的吗?
浏览 0
提问于2013-06-22
得票数 0
1
回答
中心化
EMR
系统
emr
、
hl7
、
healthvault
我们是否有任何集中的电子病历
系统
,包括所有医院,医生和病人的数据?有人能帮上忙吗?
浏览 7
提问于2015-06-23
得票数 0
回答已采纳
1
回答
Amazon框架是否在使用S3作业之前从MapReduce复制数据?
hadoop
、
amazon-s3
、
hdfs
、
amazon-emr
我已经注意到,当输入位置是S3中的文件时,从调用
EMR
作业到实际开始mapreduce处理数据之间还有很长的时间。我的问题是,
EMR
是直接运行于驻留在本机S3文件
系统
中的数据,还是将数据复制到配置好的EC2机器的HDFS集群(在
EMR
集群中),在这种情况下,复制数据需要花费大量时间?
浏览 3
提问于2013-10-15
得票数 1
回答已采纳
2
回答
创建aws
emr
默认角色时出错
amazon-web-services
、
aws-cli
、
elastic-map-reduce
我正在尝试使用aws cli
emr
命令创建一个集群。但是,我似乎无法在调用aws
emr
create-cluster之前创建所需的默认角色。$ aws
emr
create-default-roles A client error (NoSuchEntity) occurred when calling the GetRole operation我之所以开始这样做,是因为当我运行aws
emr
create-cluster时,它会返回一个cluster-id。但是,当该cluster-id是查询时,它的状态设置为以错
浏览 8
提问于2016-12-09
得票数 3
回答已采纳
1
回答
火花性能
EMR
(2.4.5) vs EKS(3.0.0)
apache-spark
、
amazon-emr
、
amazon-eks
我正在运行一些火花工作的实验,我试图比较
EMR
和EKS的性能。我使用的硬件是m5.2xlarge的两个实例(8 vCore,32 GiB内存)。原因是EKS和
EMR
之间通常共享硬件实例,因此比较性能更可靠。spark.executor.memory=4g \--conf spark.executor.memoryOverhead=4g (
EMR
我在
EMR
上
系统
地获得了更快的从S3中写入和读取的速度(在
EMR
上大约快23
浏览 7
提问于2020-09-01
得票数 2
1
回答
在Java Spark应用程序中获取
EMR
集群ID
java
、
apache-spark
、
jar
、
amazon-emr
我有用Java编写的Spark应用程序,并通过AWS
EMR
执行它。我希望在Java代码中获得
EMR
集群的ID。我试过使用下面的代码: String emrClusterID = System.getenv("
EMR
_CLUSTER_ID"); 但它返回null集群ID。我不希望使用
EMR
来获取正在运行的集群的列表,然后从那里获取ID,因为我不知道代码中的集群名称是什么,并且可能有多个集群处于相同名称的运行状态。
浏览 23
提问于2021-09-17
得票数 0
回答已采纳
1
回答
通过Spark测试本地文件
系统
中是否存在文件
amazon-web-services
、
apache-spark
、
amazon-s3
、
apache-spark-sql
、
hdfs
我能够通过spark在
EMR
集群中成功测试以下代码。但是我不能用intelliJ编写本地文件
系统
的单元测试用例。谁能帮助我如何在intelliJ中指定本地文件
系统
在下面的代码。在
EMR
集群中工作 FileSystem.get(new URI("s3n://bucket"), sc.hadoopConfiguration).exists(new Path("/path_to_check
浏览 23
提问于2019-03-28
得票数 1
1
回答
AWS电子病历的连续集成
amazon-web-services
、
travis-ci
、
amazon-emr
、
aws-code-deploy
我们有一个长期运行的
EMR
集群,它使用引导操作安装了多个库。其中一些库正在进行持续开发,它们的代码库都在GitHub上。我一直在寻找插入特拉维斯CI与AWS电子
EMR
类似的方式特拉维斯和CodeDeploy。这样做的目的是让GitHub上的代码测试并自动部署到
EMR
中,同时使用引导操作在所有
EMR
节点上安装更新的库。之后,将在实例上触发一个午餐脚本,以便使用更新的库创建一个新的
EMR
集群。还有其他建议
浏览 5
提问于2017-12-28
得票数 3
回答已采纳
1
回答
是否有可能在星盘群集之上构建REST接口?
amazon-web-services
、
rest
、
apache-spark
、
amazon-emr
通过这种方式,依赖
EMR
集群输出的其他服务可以平移星火集群的REST端点,并被告知它正在使用的最新ML
系统
版本。我不确定这是否可行。目标: 我们希望其他服务能够平平运行最新ML模型的
EMR
集群,并获得模型的元数据,其中包括ML
系统
版本。
浏览 4
提问于2021-09-01
得票数 0
回答已采纳
1
回答
通过Lamba函数创建
EMR
:在配置文件中获取主机名/IP
python
、
amazon-web-services
、
lambda
、
config
、
emr
我正在尝试通过Lambda函数配置/启动
EMR
。它工作得很好,除了在配置文件中获取IP地址或主机名之外。文件配置一个属性,该文件的内容如下我不确定如何在每次启动新群集/
emr
浏览 1
提问于2017-05-23
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
EMR系统,这些你了解吗?
EMR 实战心得浅谈
医院一体化EMR电子病历系统源码 B/S架构
朴朴基于AWS EMR的数据沙盒平台演变
电子病历EMR源码 病历编辑器源码
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券