腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在S3中对
外部
配置单元表的Pyspark
写入
不是并行的
、
、
、
、
我有一个在s3中定义了位置的
外部
配置单元表当在聚合大量
数据
的pyspark作业结束时
写入
此表时,
写入
Hive的速度非常慢,因为只有一个执行器/容器用于
写入
。当
写入
HDFS支持的表时,
写入
是并行进行的,并且速度要快得多。 我尝试使用s3a路径定义表,但是由于一些模糊的错误,我的作业失败了。这是在Amazon
EMR
5.0
浏览 6
提问于2016-08-18
得票数 3
1
回答
如何从amazon
emr
检索文件?
、
、
、
作为附加信息,这些文件是使用代码中的相对路径创建和
写入
的。
浏览 0
提问于2016-12-06
得票数 0
2
回答
电火花电子病历和
外部
蜂箱/胶水--可以通过sqlContext丢弃但不能创建表。
、
、
、
、
我正在从运行在
EMR
上的吡火花写一个
数据
到
外部
的蜂巢表。这项工作包括从
外部
单元表中删除/截断
数据
,将
数据
的内容
写入
上述表,然后将
数据
从单元
写入
DynamoDB。我想写到
EMR
集群上的一个内部表,但现在我希望以后的集群可以使用蜂箱
数据
。我可以直接写信到Glue目录,强迫它注册,但这比我需要做的还要远。所有组件都可以在给定的
EMR
集群上单独工作:我可以使用脚本或ssh和hiv
浏览 4
提问于2020-10-22
得票数 0
回答已采纳
1
回答
Couchbase Spark Connector支持PySpark吗?
、
、
、
、
我们有10个节点的AWS
EMR
集群,
emr
5.5.0版本,Spark 2.1.0我们希望将此摘要
数据
(PySpark DataFrame)
写入
couchbase
数据
库。如果是,请分享一下如何使用PySpark将
数据
写入</
浏览 16
提问于2017-08-05
得票数 0
2
回答
如何将电子病历配置为通过用户访问Id和密钥从S3存储桶中读取
、
、
、
这在本地是有效的,但是当尝试在使用
EMR
的
EMR
上运行时,我无法使其工作,我总是得到403:我只有一个IAM用户访问Id和密钥可以从存储桶中读取,我的创建
EMR
为了给出更多的上下文,我从提供电子病历的帐户内的多个s3存储桶中读取和
写入
浏览 1
提问于2020-05-05
得票数 0
1
回答
Spark - on电子病历saveAsTextFile不会将
数据
写入
本地目录
、
、
在
EMR
上运行Spark (AMI 3.8)。在尝试将RDD
写入
本地文件时,我在name/master节点上没有得到任何结果。在我之前的
EMR
集群上(使用bootstrap脚本安装了相同版本的Spark,而不是作为
EMR
的附加组件),
数据
将
写入
name节点上的本地目录。如何才能让文件只
写入
name/master节点?myRDD.saveAsTextFile("file:///h
浏览 2
提问于2015-08-06
得票数 0
1
回答
使用
EMR
处理cloudtrail日志
是否可以使用
EMR
来处理来自cloudtrail的日志?简单地描述一下如何做到这一点?
浏览 2
提问于2016-02-19
得票数 0
2
回答
EMR
Spark作业- HDFS和EBS存储的使用情况
Spark on
EMR
是否将亚马逊S3的输入
数据
分发到底层HDFS? 也连接到节点的EBS卷的用途是什么?
浏览 4
提问于2020-02-26
得票数 0
2
回答
是否升级
EMR
集群?
、
、
我在
EMR
上使用Spark、Zeppelin、Hue等配置了一个小的、长期运行的集群。我已经配置了色调用户,我在Zeppelin中有几个我正在使用的笔记本。一切都运行良好。但是,我运行的是
emr
-4.3.0,我想升级到
emr
-4.5.0映像。我不想重新创建集群,因为我需要重新配置所有应用程序,并弄清楚如何传输用户
数据
(保存的笔记本、色调保存的查询等)。如何将已运行的群集升级到最新的
EMR
映像?
浏览 3
提问于2016-04-12
得票数 2
2
回答
打开/关闭AWS
EMR
集群
、
如何打开/关闭
EMR
集群?只有一种可能永久终止。如果我在晚上不需要集群,并且我不想每天早上都创建一个新的集群,该怎么办?
浏览 44
提问于2021-10-28
得票数 0
1
回答
是否有谷歌/亚马逊网络服务可以将
数据
从谷歌商店移动到s3
、
、
、
、
在我的使用案例中,所有与谷歌相关的应用程序和广告的
数据
生成都将存储在谷歌store.but中,我的处理引擎在亚马逊网络服务云上的Spark上运行。谁可以帮助我如何才能移动这个GS
数据
S3进行处理。
浏览 0
提问于2017-01-05
得票数 0
1
回答
Amazon
EMR
服务与
EMR
集群
、
下面的图像来自AWS本身,显示了
EMR
集群是如何在私有子网中配置的。很好。有趣的是,我总是使用Amazon图标来表示附图中的集群,我认识的其他人也会这样做。AWS
EMR
服务是什么?
浏览 6
提问于2021-06-26
得票数 0
回答已采纳
1
回答
emr
-dynamodb- Apache Hadoop连接器
、
我有一个
EMR
和打算做CRUD操作发电机DB作为我的减速机的一部分。 注意,我是,不使用Hive或Spark,也不使用Apache。有关于如何从我的
EMR
连接到Dynamo DB的文档吗?
浏览 0
提问于2018-04-02
得票数 0
回答已采纳
1
回答
从一个群集迁移到另一个群集
、
、
、
我有一个源
emr
集群,其中包含配置单元元存储作为
外部
mysql (
emr
版本3.1 )。 我们计划将集群升级到5.11.1。有人知道如何使用远程mysql元
数据
将hive和hdfs从一个群集迁移到另一个群集吗?
浏览 10
提问于2018-02-12
得票数 0
3
回答
具有多个加密密钥提供者的
EMR
、
、
、
、
我正在使用自定义密钥提供程序使用启用的运行
EMR
集群。但是现在我需要使用不同的加密模式将
数据
写入
多个s3目的地: 是否可以通过在s3桶和加密类型之间定义某种映射来配置
EMR
以使用这两种加密类型?或者,由于我使用火花结构化流来处理和
写入
数据
到s3,所以我想知道是否有可能禁用EMRFS上的加密,然后分别为每个流启用CSE?
浏览 2
提问于2018-02-06
得票数 1
回答已采纳
1
回答
跨DAGs的气流持久
数据
存储
我有几个DAG创建临时AWS
EMR
集群,然后在它们运行完毕后终止它们。我想要创建一个新的DAG,它每天运行,并生成为那天创建的每个
EMR
集群的报告,以及它运行了多长时间,并通过电子邮件将该报告发送给不同的人。不过,我需要存储
EMR
群集ID值,以便我的报表生成器有当天每个
EMR
群集ID的列表。我想知道是否可以修改一个气流变量来存储这个信息,例如,我可以有一个气流变量,其中键是"
EMR
_CLUSTERS“,值是一个JSON字符串,包含我想要记录的所有
数据
。或者我可以使用已经被用来
浏览 1
提问于2018-08-27
得票数 2
1
回答
亚马逊
EMR
与亚马逊红移
、
、
、
对于大多数用例,可以使用Amazon对流
数据
或有界
数据
(例如来自Amazon的
数据
)进行星火转换,然后可以使用转换后的
数据
再次将
数据
写入
S3。在Amazon中也可以使用来自S3的不同
数据
加载到不同的红移表,然后使用加载到最终表的不同红移表的
数据
来实现转换。(现在使用红移谱,我们也可以直接从S3中选择和转换
数据
。)尽管如此,我看到这些转换可以在
EMR
和Redshift中完成,而Redshift加载和转换只需较少的开发时
浏览 1
提问于2019-07-24
得票数 2
回答已采纳
2
回答
EMR
+ Spark + KMS -保存解密
数据
、
、
我们正在使用spark处理
EMR
中的KMS客户端加密
数据
。我可以使用以下配置成功处理加密
数据
,但即使是
写入
s3的聚合
数据
也是加密的。有没有办法在启用这些设置的情况下将未加密的
数据
写入
s3?_jsc.hadoopConfiguration().set("fs.s3.cse.encryptionMaterialsProvider", "com.amazon.ws.
emr
.hadoop.fs.cse.KMSEncryptionM
浏览 4
提问于2018-06-02
得票数 0
1
回答
使用Oracle异构服务进行左连接错误转换
、
、
、
我使用DB link将Oracle
数据
库连接到远程DB。我的远程
数据
库与
外部
连接无关,这就是为什么异构服务将我的查询转换为几个简单的查询并连接结果的原因。我的查询如下所示:from join_email@DG4 emLEFT JOIN join_EMAIL_CC@DG4 e
浏览 0
提问于2014-10-29
得票数 0
1
回答
使用AWS
EMR
在表上拒绝对AWS湖编队的访问
、
我正在做一个小宠物项目,我想建立AWS湖的形成,把一些
数据
,然后访问这些
数据
在AWS
EMR
。我遵循了这个文档中的说明:。我已经有了:com.amazonaws.
浏览 6
提问于2022-01-14
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
python 数据读取 写入总结
Python写入数据到MySQL
朴朴基于AWS EMR的数据沙盒平台演变
Python爬虫数据写入mySQL案例
使用 AWS Lake Formation 配合 Amazon EMR 控制数据访问与权限
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券