腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
2
回答
用于
数据转储处理
的
DynamoDB
或Hive
、
、
计划使用批处理插入上传AWS
DynamoDB
。哪种流程选择是符合成本效益
的
:在
DynamoDB
中,如果从
EMR
或EC2访问,是否存在吞吐量限制?
浏览 4
提问于2012-06-04
得票数 2
1
回答
用于
查询
dynamodb
表
的
EMR
笔记本
、
我正在使用电子病历notebook从S3获取数据,并对数据进行一些操作,然后推送到不同
的
s3存储桶中。基本上,代码是使用ipython notebook (jupyter)编写
的
。我需要
查询
DynamoDb
表
来获得一些额外
的
数据。因此,我必须在
EMR
notebook中编写代码来
查询
ddb。我没有找到任何相关
的
wiki,我不确定它是否可以做到? 如果可以的话,有没有人能帮帮我?此外,如果你分享一些如何做到这一点
的
维基
浏览 12
提问于2020-05-08
得票数 0
1
回答
用电子病历
查询
DynamoDB
数据
、
、
我正在寻找一种使用amazon使用SQLSyntax
查询
AWS
DynamoDB
数据
的
方法。 我准备好了我
的
DynamoDB
桌子。如何使用Hue导入/
查询
数据?
DynamoDB
中
的
表
大小约为8GB。
浏览 5
提问于2017-10-12
得票数 0
3
回答
获取
emr
-ddb-hadoop.jar以连接
DynamoDB
和
EMR
Spark
、
、
、
我有一个
DynamoDB
表
,需要连接到
EMR
Spark SQL才能在该
表
上运行
查询
。我得到了
EMR
Spark Cluster,上面有版本标签
emr
-4.6.0和Spark 1.6.1。我指的是文档:spark-shell --jars /usr/share/aws/
emr
/ddb/lib/
emr
-ddb-hadoop.jar
浏览 3
提问于2016-05-06
得票数 5
2
回答
由于
表
容量设置为“按需”,所以
EMR
dyanmodb出口失败。
、
在将
dynamodb
表
容量更改为随需应变后,导出
dynamodb
表
的
数据管道作业因此错误而失败。Read throughput percent: 0.0 at org.apache.hadoop.
dynamodb
.read.AbstractDynamoDBInputFormat.getSplits
浏览 0
提问于2019-01-07
得票数 6
回答已采纳
1
回答
是否有方法将我
的
DynamoDB
导出任务分组在一个
EMR
集群上?
、
、
、
、
当我通过
DynamoDB
控制台中
的
导出函数设置重新出现
的
备份时,它创建
的
任务在运行时会自动创建一个新
的
EMR
集群。我
的
一些
表
需要备份,但相当小。我最后得到
的
是大量
的
大型服务器,它们正在运行以备份一些相对较小
的
表
。有什么简单
的
方法可以将这些任务串联或并行地在一个服务器组上运行吗?
浏览 2
提问于2017-03-20
得票数 0
回答已采纳
1
回答
dynamodb
中
的
子
查询
我在MySQL中有一个名为OrderDetails
的
表
,如下所示。,然后通过它
的
交付状态进一步过滤它使用下面的
查询
。我创建了使用ProductID作为主(分区键)和Quantity作为排序键
的
表
。我相信这些数据将按以下方式存储。12 |9false |10253 |13 |20 现在,我想在
dynamodb
中进行同样
的
浏览 3
提问于2017-10-24
得票数 0
1
回答
使用jq将map列表转换为数组
、
、
、
、
我正在努力从aws
dynamodb
扫描命令中获取格式化输出。
dynamodb
表
中
的
一项如下所示: { "Category": [ "
EMR
" "Environment"Severity": "Critical" "subscriber_id":
浏览 14
提问于2019-06-06
得票数 0
1
回答
如何从NodeJS和Lambda运行
EMR
查询
、
、
、
、
我在
EMR
中创建了2个
EMR
,并将其映射到
DynamoDB
。
表
名为属性和 在属性中,我将id of AttributeType存储为attributeTypeId。如何从我
的
NodeJS应用程序中运行对
EMR
的
查询
,包括联接、位置、顺序和限制。如何在NodeJS应用程序中完成此操作。到目前为止,我只成功地运行了来自AWS
的
查询
,并且在AWS中什么也找不到。
浏览 2
提问于2017-05-15
得票数 3
1
回答
如何使用数据管道将百万条记录
DynamoDB
表
导出为CSV?
、
、
、
我有一个百万条记录
的
DynamoDB
表
。我正在使用数据管道将
DynamoDb
表
导出到S3。但是数据管道将
表
导出为一组
DynamoDB
json格式
的
原始JSON文件。数据管道运行一个小时后,
EMR
因超时异常而失败。 有没有办法将
DynamoDB
表
导出为CSV并增加Data Pipeline中
的
EMR
超时配置?
浏览 16
提问于2020-06-02
得票数 0
2
回答
让
DynamoDB
数据在雅典娜搜索
的
正确方法?
、
我需要一个缓慢变化
的
AWS
DynamoDb
,定期地抛到S3上,
用于
在雅典娜上
查询
它。需要确保雅典娜可以获得
的
数据不会落后于
DynamoDb
上
的
数据(最大延迟1小时)。我知道有以下两种方法: 这种方法
的
优点是,使用单个
EMR
脚本(每小时运行),可以在S3上直接搜索压缩
的
Parquet文件。然而,这种方法
的
一
浏览 1
提问于2018-10-18
得票数 6
4
回答
AWS数据管道不支持'm3.xlarge‘
、
我是AWS新手,尝试通过将数据从
DynamoDB
加载到S3来运行AWS数据管道。但我
的
错误越来越少了。
浏览 0
提问于2020-05-01
得票数 2
回答已采纳
2
回答
电火花电子病历和外部蜂箱/胶水--可以通过sqlContext丢弃但不能创建
表
。
、
、
、
、
我正在从运行在
EMR
上
的
吡火花写一个数据到外部
的
蜂巢
表
。这项工作包括从外部单元
表
中删除/截断数据,将数据
的
内容写入上述
表
,然后将数据从单元写入
DynamoDB
。我想写到
EMR
集群上
的
一个内部
表
,但现在我希望以后
的
集群可以使用蜂箱数据。我可以直接写信到Glue目录,强迫它注册,但这比我需要做
的
还要远。所有组件都可以在给定
的
EMR<
浏览 4
提问于2020-10-22
得票数 0
回答已采纳
1
回答
如何从Spark中读取/写入
dynamodb
?
、
、
、
我想知道从Spark读/写
dynamodb
最好
的
方法是什么。有什么建议吗?
浏览 28
提问于2018-01-24
得票数 1
1
回答
如何在配置单元3.1上创建
DynamoDB
的
外部
表
、
、
我想知道是否有可能有一个外部
表
指向使用Hive
的
亚马逊网络服务上
的
DynamoDB
表
。我没有使用AWS
EMR
,我使用
的
是通过Apache Ambari配置
的
Hadoop堆栈。配置单元版本:配置单元3.1.0.3.1.4.0-315 我所做
的
是:直接从maven存储库下载
EMR
Dynamo-Hive连接器JARS:https://mvnrepository.com/artifact
浏览 14
提问于2020-04-23
得票数 0
1
回答
滞留在Waiting_For_Runner状态
的
EMR
活动
、
、
我正在创建一个数据管道,
用于
将
dynamoDB
表
导出到S3桶,我在数据管道控制台中使用了标准模板。我验证了runsOn字段被设置为要启动
的
EMR
集群
的
名称。然而,
EMR
活动
的
状态仍然和Waiting_For_Runner...Any
的
想法一样,为什么会这样? 谢谢!
浏览 2
提问于2014-05-08
得票数 9
1
回答
Spark能否在没有电子病历
的
情况下访问
DynamoDb
、
、
、
我试图通过Spark streaming访问
DynamoDb
来读写
表
,但在编写Spark-
DynamoDB
代码
的
过程中,我了解到需要
emr
-ddb-hadoop.jar来获取
DynamoDB
输入格式和只存在于
EMR
集群中
的
OutputFormat。在查看了一些博客之后,似乎只有使用
EMR
Spark才能访问它。这是正确
的
吗? 但是,我使用独立
的
JAVA SDK来访问
Dynamodb</em
浏览 0
提问于2016-04-07
得票数 2
1
回答
AWS DAX群集
的
缓存命中率和缓存未命中率均为零
、
、
、
、
我使用
的
是一个包含3个节点
的
AWS DAX集群,节点类型为dax.r4.xlarge。当我从
EMR
集群运行我
的
spark应用程序时,它总是从
dynamodb
表
中获取值。即使我在相同
的
键集上运行相同
的
应用程序,它也在
查询
dynamodb
表
。在DAX集群指标中,我看到0个缓存命中和未命中。
浏览 15
提问于2020-02-26
得票数 0
回答已采纳
2
回答
在
EMR
星火上使用木星
笔记本
、
、
、
、
我是新
的
火花和AWS,我试图安装木星在我
的
星系团(
EMR
),我不能打开木星
笔记本
在我
的
浏览器在最后。我可以访问EC2实例
的
IP地址以及端口22和8080。I不允许访问
EM
浏览 0
提问于2016-05-19
得票数 4
1
回答
如何使用本地HiveSQL运行
DynamoDB
、
作为标题,我已经成功地在我
的
Ubuntu上安装了
DynamoDB
本地和HiveSQL。但是,当在命令行中运行一个Hive
查询
以创建一个
表
时,CREATE EXTERNAL TABLE Hive_ProductCatalogSTOREDBY 'org.apache.hadoop.hive.
dynamodb
.DynamoDBStorageHandler'"
dynamodb
浏览 2
提问于2015-06-19
得票数 0
回答已采纳
点击加载更多
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券