腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Archive
从
DynamoDB
删除
数据
到
S3
amazon-web-services
、
amazon-s3
、
amazon-dynamodb
、
amazon-kinesis-firehose
、
amazon-dynamodb-streams
我想将
数据
从
DynamoDB
归档
到
S3
。我遇到了两种解决方案:
DynamoDB
-> TTL
DynamoDB
+
DynamoDB
Stream -> Lambda -> <
浏览 2
提问于2021-07-09
得票数 2
1
回答
Kinesis将
数据
从
DynamoDB
蒸汽传递
到
S3
:为什么文件中JSON对象
的
数量是不同
的
?
amazon-web-services
、
amazon-s3
我对AWS很陌生,我正在努力将
数据
从
DynamoDB
归档
到
S3
。这是我
的
解决方案,我已经完成了管道。
DynamoDB
->
DynamoDB
TTL +
DynamoDB
Stream -> Lambda -> Kinesis ->
S3
但是我发现
S3
中
的
文件有不同数量
的
JSON对象。我已经在lambda中完成了ETL,
浏览 3
提问于2021-10-06
得票数 2
回答已采纳
1
回答
存档
dynamodb
记录
的
最佳方式是什么?
amazon-web-services
、
amazon-s3
、
amazon-dynamodb
、
cloud
我有一个包含大约600万条记录
的
表,并且想要开始
归档
记录,我已经考虑过创建同一表
的
备份版本,并在满足
归档
标准
的
情况下移动这些记录。但是,有人告诉我,也可以使用配置单元将此
数据
复制
到
S3
。有人能解释一下为什么我选择将
数据
复制
到
S3
存储桶中而不是存储在另一个
dynamodb
表中吗?
浏览 11
提问于2020-01-10
得票数 5
回答已采纳
1
回答
从
DynamoDB
到
S3
的
数据
归档
amazon-web-services
、
amazon-s3
、
amazon-dynamodb
我正在尝试
从
DynamoDB
to
s3
using Kinesis Data Stream and firehose.存档
数据
项目的旧图像和新图像都将保存在
S3
中。这会在
s3
中创建重复
数据
。有人可以帮助指导在
S3
中保存新图像或旧图像吗?
浏览 29
提问于2021-04-21
得票数 0
1
回答
如何将
S3
中
的
DynamoJSON
数据
读取到雅典娜
amazon-s3
、
amazon-dynamodb
、
amazon-athena
我使用以下教程在
DynamoDb
中应用了TTL,以便
DynamoDB
表不会膨胀:https://aws.amazon.com/blogs/database/automatically-archive-items-to-s3-using-
dynamodb
-time-to-live-with-aws-lambda-and-amazon-kinesis-firehose/ 现在,本教程让我以DynamoJSOn格式将我
的
归档
数据
保存在
浏览 20
提问于2020-06-15
得票数 1
回答已采纳
1
回答
DynamoDB
读取和写入每小时800万条记录并复制
到
Redshift
的
成本
amazon-dynamodb
、
amazon-redshift
据我所知,在小于1KB
的
情况下,
Dynamodb
需要一个写容量单元。因此,对于2500条记录/秒,我们需要2500条写入容量单位。
数据
实时插入
到
DynamoDB
中。为了分析
的
目的,我们也需要相同
的
数据
在Redshift中。因此,每15分钟我们需要同步
Dynamodb
表
到
Redshift表。企业只想在顶级红移集群上进行分析。为了在15分钟内
从
DynamoDB
复制
数
浏览 3
提问于2019-09-22
得票数 1
回答已采纳
2
回答
哪些亚马逊网络服务CloudWatch日志用于存储?
amazon-web-services
、
amazon-cloudwatch
问题是,AWS是使用Glacier还是
S3
来存储日志?他们正在使用Kinesis通过过滤器来处理日志。谁能说出答案?
浏览 2
提问于2014-08-02
得票数 1
1
回答
使用单元格删除
dynamoDB
记录
amazon-web-services
、
hive
、
amazon-dynamodb
我有一个定期运行
的
管道,并将一些
数据
转储
到
s3
中。现在,我想将
dynamoDb
中
的
现有
数据
完全替换为
s3
中转储
的
新
数据
。 如果
dynamoDB
表键存在于
s3
数据
中,则应该更新dynamo记录。如果
s3
数据
中缺少密钥,但dynmoDB中存在密钥,则需要删除dynamo中
的
记录,并且需要将任何新
数据</em
浏览 1
提问于2020-08-06
得票数 2
1
回答
将csv文件转换为
DynamoDB
json格式
amazon-web-services
、
amazon-dynamodb
、
amazon-data-pipeline
我在托管在AWS
S3
桶中
的
CSV文件中存储了+700万条记录,我希望将它们加载到
DynamoDB
表中。我尝试过
数据
AWS管道服务,但是作业总是失败,因为该服务不支持导入CSV格式。因此,我首先应该将CSV
数据
转换成
DynamoDB
可以理解
的
格式。有什么办法让这个转变吗?
浏览 3
提问于2016-03-11
得票数 1
2
回答
到
S3
DataLake
的
插入式迁移
amazon-web-services
、
amazon-s3
、
splunk
、
data-lake
我们正在考虑将Splunk作为我们
的
数据
存储,转而关注由
S3
支持
的
亚马逊网络服务
数据
湖。 将
数据
从
Splunk迁移到
S3
的
过程是什么?我读过很多关于将
数据
从
Splunk
归档
到
S3
的
文档,但不确定这是将
数据
归档
为可用
的
格式,还是需要将其以某种
归档
格式恢复<em
浏览 5
提问于2019-11-08
得票数 1
2
回答
亚马逊冰川如何在一段时间后删除文件
amazon-web-services
、
amazon-s3
、
amazon-glacier
我能够在30天后使用生命周期规则将文件
从
S3
传输到冰川。然而,我如何使相同
的
文件在3个月后
从
冰川被删除? 谢谢。
浏览 0
提问于2018-10-02
得票数 2
回答已采纳
3
回答
按日期/天数
归档
Dynamodb
python
、
amazon-s3
、
amazon-dynamodb
、
boto3
、
amazon-data-pipeline
我想
归档
dynamodb
表,只保留90天
的
数据
。我在表中有一个名为recorded_on
的
字段,我可以用它来跟踪90天。看看Datapipeline,它似乎有点过度使用EMR,因为我们不需要它。有没有更好
的
方法呢? 1.that will continue to run everyday and match recorded_on + 90days > today's date and put those rows in
s3
Separate cronj
浏览 1
提问于2016-08-27
得票数 0
2
回答
使用AWS作业
从
另一个帐户中
的
DynamoDB
中提取
数据
amazon-web-services
、
amazon-s3
、
amazon-dynamodb
、
aws-glue
我使用AWS将
数据
从
DynamoDB
复制
到
S3
。我编写了下面的代码,以便将DyanmoDB表复制
到
同一个帐户中
的
S3
。它
的
工作很好,复制我
的
六亿张记录,没有任何问题。大约要花20分钟。datetime.strftime(datetime.now(), '%Y%m%d')read_percentage = "0.5&
浏览 1
提问于2020-03-21
得票数 2
2
回答
使用AWS Datapipeline将CSV转换为导入
DynamoDB
所需
的
格式
amazon-web-services
、
amazon-s3
、
amazon-dynamodb
、
amazon-data-pipeline
使用
数据
管道( (
s3
://elasticmapreduce/samples/Store/ProductCatalog) )将
数据
从
S3
导入
到
Dynamo DB表
的
亚马逊网络服务文档引用了以下格式
的
S3
首先,我如何将一个有400万行
的
CSV转换成这种格式?有没有什么实用
的
工具? 谢谢你
的
建议...我在谷歌上搜索得很好,但没有找到任何
浏览 3
提问于2016-08-02
得票数 1
1
回答
将
S3
桶对象
的
音频元
数据
映射到
DynamoDB
reactjs
、
amazon-s3
、
aws-lambda
、
graphql
、
amazon-dynamodb
假设我在
S3
中导入了大量音频文件。我需要映射我
的
音频文件元
数据
(包括艺术家,曲目名称,持续时间,发布日期,.)
到
DynamoDB
表中,以便在react应用程序中使用GraphQL API查询它们。但是,我还不知道如何提取要在
DynamoDB
中映射
的
这些元
数据
。 在
DynamoDB
开发人员指南中,提到(p.914)可以将
S3
对象标识符存储在
DynamoDB
项中。还需要指出
的
是,<em
浏览 2
提问于2020-08-06
得票数 0
回答已采纳
1
回答
如何将
DynamoDb
迁移到RDS (Aurora)
amazon-web-services
、
amazon-dynamodb
、
database-migration
、
amazon-aurora
我是AWS
的
新手。我在
DynamoDB
上有一个正在运行
的
数据
库,现在想要迁移到Amazon RDS (Aurora)?我不知道该怎么做?欢迎提供任何形式
的
帮助或评估。我还需要考虑NoSQL
到
关系型
数据
库
的
停机和转换工具。
浏览 0
提问于2019-02-14
得票数 3
2
回答
如何解决AWS
的
最终一致性问题
amazon-web-services
、
amazon-s3
、
amazon-dynamodb
、
amazon-dynamodb-streams
我正在做一个管理文档
的
项目(例如:创建、阅读、维护不同
的
版本等)。我
的
计划是使用以下AWS架构。创建/更新文档时,将通过API
s3
代理将其保存到启用版本
的
S3
桶上。
S3
put事件将触发lambda以获取最新版本和所有版本it,并将其保存到
DynamoDB
。一旦它保存在一个
DynamoDB
表中,它将通过
DynamoDB
流在Elasticsearch中被索引。我
的
计划是对所有搜
浏览 1
提问于2017-09-11
得票数 3
回答已采纳
1
回答
AWS作业--将
数据
从
dynamodb
发送到
s3
时不起作用
的
书签
amazon-web-services
、
aws-glue
、
amazon-athena
我试图使用AWS
从
dynamodb
向
s3
发送
数据
。文档中提到,作业书签将保持过去作业
的
状态,因此只会将新
数据
传输到
s3
中。但是,当我向
s3
发送
数据
时,它不起作用。它将整个
dynamodb
表复制
到
s3
,而不是只复制新添加
的
数据
。我需要使用雅典娜
的
SQL功能。我该怎么纠正呢?
浏览 3
提问于2021-01-23
得票数 1
3
回答
在AWS Quicksight中可视化
DynamoDB
数据
amazon-web-services
、
amazon-dynamodb
、
amazon-quicksight
我正在寻找一个以亚马逊网络服务为中心
的
解决方案(如果可能的话,避免第三方
的
东西)来可视化一个非常简单
的
DynamoDB
表中
的
数据
。我们使用AWS Quicksight为我们
的
客户提供许多其他报告和仪表板,因此我们
的
目标是在那里提供可视化。我非常惊讶地发现,尽管有许多其他
的
东西,比如
S3
,雅典娜,红移,RDS等,
DynamoDB
却不是Quicksight
的
支持源码。 有人有为此创建解
浏览 3
提问于2019-09-04
得票数 25
2
回答
让
DynamoDB
数据
在雅典娜搜索
的
正确方法?
amazon-dynamodb
、
amazon-athena
我需要一个缓慢变化
的
AWS
DynamoDb
,定期地抛到
S3
上,用于在雅典娜上查询它。需要确保雅典娜可以获得
的
数据
不会落后于
DynamoDb
上
的
数据
(最大延迟1小时)。我知道有以下两种方法: 这种方法
的
优点是,使用单个EMR脚本(每小时运行),可以在
S3
上直接搜索压缩
的
Parquet文件。
浏览 1
提问于2018-10-18
得票数 6
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
从MySQL到AWS DynamoDB数据库的迁移实践
从数据创建到数据归档,IBM Storage 创新无处不在
从数据到大数据,数据技术&工具的演变
实操:从Oracle到GaussDB的数据迁移
从入职到放弃再到改革成功:我是如何从0到1建立数据团队的?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券