腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9799)
视频
沙龙
2
回答
亚马逊
网络服务:处理
从
S3
到关系
数据
库的
数据
的最佳方法
amazon-web-services
、
etl
我想从
S3
读取一个大的csv (大约30 be )文件,进行一些转换并将其加载到
RDS
MySQL中,我希望这个过程是可复制的。我认为最好的方法是Aws
数据
管道,但我发现这个服务更多地设计为在几次转换后将来自不同来源的
数据
加载到redshift。我还看到创建管道的过程很慢,而且有点凌乱。然后我找到了Coursera的
数据
中心包装器,但经过一些研究,这个项目似乎已经被放弃了(上一次提交是在一年前)。 所以我不知道我是应该继续尝试aws
数据
管道,还是应该采取另一种方法。然后我看了一段AWS
浏览 3
提问于2017-08-04
得票数 0
1
回答
从
S3
还原Aurora集群不工作
amazon-web-services
、
amazon-rds
、
amazon-aurora
我正在尝试
将
RDS
快照转换为
S3
,然后
从
S3
还原Aurora集群。在我致力于这个过程并转换我们的一些生产快照之前,我正在测试,将它们转换并还原回DB,并出现问题。2-在快照创建之后,我选择了它并选择了“”,我选择了导出所有
数据
。 3-大约一天后,它完成了对
S3
的出口。这是一个4TB快照,所以需要一段时间。4-在
RDS
仪表板中,我单击了“
从
S3
还原Aurora集群”。我将其指向步骤2.b中导出的快照所指向的
S3
浏览 4
提问于2021-01-27
得票数 0
3
回答
亚马逊
移动消防软管缓冲到
S3
amazon-web-services
、
amazon-s3
、
amazon-kinesis
、
amazon-kinesis-firehose
我试图对部署到AWS的流
数据
/分析应用程序进行定价,并考虑使用Kinesis
将
数据
转储到
S3
中。 我的问题是,当计算出
S3
的成本时,我需要弄清楚我需要多少投资者。因此,我知道Firehose缓冲
数据
,然后刷新到
S3
,但是我不清楚它是否会写一个单一的“文件”,所有的记录都会累积到那个时候,或者它是否会单独地写每条记录。因此,假设我根据记录的大小将缓冲区大小/间隔设置为最佳数量,那么
S3
PUT的数量是否仍然等于记录的数量或防火墙执行的
浏览 6
提问于2015-11-03
得票数 6
回答已采纳
2
回答
Amazon Redshift to Glacier
amazon-web-services
、
amazon-redshift
、
amazon-glacier
我也看不到
将
红
移
快照导出到自定义
S3
存储桶的方法,这样我就可以编写脚本
将
文件移
动到
Glacier中。 我该如何完成这个任务,有什么建议吗?
浏览 0
提问于2016-10-01
得票数 1
1
回答
AWS
RDS
中的
数据
是否存储在
亚马逊
S3
上?
amazon-web-services
、
amazon-s3
、
amazon-rds
亚马逊
网络服务是否
将
RDS
上的所有
数据
都存储在
亚马逊
S3
中?我需要有相同的
数据
,位于
亚马逊
S3
上的
RDS
的所有修改等。
浏览 3
提问于2021-09-07
得票数 0
1
回答
覆盖现有插入模式如何在aws
数据
管道的existing活动中工作
amazon-s3
、
amazon-redshift
、
etl
、
amazon-data-pipeline
我是第一次接触aws
数据
管道。我们有一个
将
更新后的
数据
复制到redshift的用例。
浏览 4
提问于2019-08-13
得票数 0
1
回答
当使用
亚马逊
网络服务
数据
库迁移服务
从
MySQL源导入时,如何
将
排序关键字添加到红
移
目标?
amazon-redshift
、
aws-dms
我们正在使用
亚马逊
网络服务
数据
库迁移服务,以迁移我们的
RDS
MySQL极光
数据
库到
亚马逊
网络服务红
移
。 我们想要在其中一个红
移
表中添加一个排序关键字。在使用AWS DMS
从
MySQL源
将
数据
复制到Redshift时,我们如何做到这一点?
浏览 2
提问于2018-06-14
得票数 1
1
回答
如何
将
S3
上一次处理的文件存储到红移
数据
库
bash
、
amazon-web-services
、
amazon-s3
、
amazon-redshift
目前,我已经使用
亚马逊
网络服务
数据
管道
将
数据
从
亚马逊
S3
复制到
亚马逊
Redshift,仅用于当前日期和时间。我想每隔30分钟
将
数据
从
S3
复制到Redshift。并且最后处理的
S3
文件名也被存储到另一个红
移
表中。 有人能回答这个问题吗?
浏览 0
提问于2013-11-14
得票数 4
4
回答
将
RDS
数据
导出到
S3
/Glacier
oracle
、
amazon-web-services
、
amazon-s3
、
rds
、
amazon-glacier
我想将
数据
从
Oracle
RDS
导出到
S3
,然后将其移
动到
Glacier。我的最终目标是
将
存储在
RDS
中的
数据
备份到
S3
和Glacier,以满足合规性要求。谁能建议一下实现它的最好的方法。
浏览 1
提问于2015-12-28
得票数 2
2
回答
如何控制红
移
中
数据
量的增加?
amazon-web-services
、
amazon-redshift
、
data-warehouse
、
amazon-athena
我在AWS Redshift中维护了一个
数据
仓库。最近,
数据
量和速度都有所增加。一种选择是,以更高的成本,水平地继续扩展集群。我想知道是否有任何可用的归档选项,以便我可以像往常一样查询整个
数据
(可能会在查询时间上出现折中),但成本低或没有额外成本?一种选择是直接
从
S3
中使用外部表和查询
数据
,但是用于实现这一目标的工具,比如雅典娜和Glue,也有自己的成本,这也是基于每次查询的。
浏览 2
提问于2018-06-19
得票数 0
回答已采纳
1
回答
如何
将
数据
从
Oracle
数据
库导出到
亚马逊
网络服务
S3
存储桶
oracle
、
amazon-web-services
、
amazon-s3
、
amazon-iam
我的oracle
数据
库中有大量的
数据
。我想把它迁移到
亚马逊
网络服务的
S3
存储桶上。我找不到好的文档来说明这一点。如果有人已经这样做了,请分享。 谢谢
浏览 3
提问于2018-05-09
得票数 0
1
回答
AWS中微服务的内部通信
amazon-web-services
、
amazon-elastic-beanstalk
我看到我
将
按出站和入站网络流量收费。我不清楚微服务之间的内部通信是否会收费?
浏览 1
提问于2021-05-15
得票数 1
2
回答
如何使用AWS Glue
将
本地文件加载到AWS
amazon-web-services
、
amazon-rds
、
aws-glue
我是否可以使用AWS GLUE
将
位于本地位置的文件直接加载到
RDS
? 另外,如果我必须在加载之前
将
文件存放在
S3
中,除了使用命令行界面之外,我还有什么选择?
浏览 31
提问于2019-12-20
得票数 0
1
回答
有没有可能将EC2卷移
动到
亚马逊
冰川,而无需下载和上传?
amazon-web-services
、
amazon-ec2
、
amazon-glacier
我想过
将
一些我很少使用的卷移
动到
Amazon Glacier,但我发现除了下载卷并上传到Glacier之外,在AWS中没有任何方法可以做到这一点,这听起来很糟糕。是否直接
从
EC2控制台
将
一些EC2卷分配给冰川? 谢谢
浏览 2
提问于2015-07-06
得票数 19
回答已采纳
3
回答
使用动态
将
S3
加载到红
移
amazon-s3
、
amazon-kinesis
、
amazon-kinesis-firehose
、
amazon-kinesis-kpl
、
amazon-kinesis-agent
我收到我的源文件在
S3
,我需要加载这些
数据
的红
移
。 via Kinesis要求:我想知道我是否可以使用Kinesis
从
S3
浏览 8
提问于2017-05-22
得票数 0
4
回答
如何
将
AWS
RDS
快照导出到您自己的
S3
存储桶?
amazon-web-services
、
amazon-s3
、
aws-rds
RDS
每天都在备份。 我发现
RDS
快照实际上存储在
S3
中。但是可以
将
数据
导出到您自己的存储桶中吗?
浏览 6
提问于2016-04-07
得票数 4
2
回答
存档AWS
RDS
mysql
数据
库
mysql
、
amazon-web-services
、
amazon-s3
、
amazon-rds
、
amazon-glacier
我正在寻找选项来存档我的旧
数据
从
AWS
RDS
MySQL
数据
库的特定表。我遇到了
亚马逊
网络服务
S3
,
亚马逊
网络服务Glacier,并使用一些管道或桶
将
数据
复制到其中一个,但据我所知,他们
将
数据
复制到保险库或备份
数据
,但不移动它们。是否有合适的选项通过从
RDS
迁移到
S3
、Glacier或Deep Archive来归档
数据
?即在创
浏览 1
提问于2020-01-29
得票数 2
5
回答
定期
将
S3
存储桶中的
数据
流式传输到红
移
amazon-s3
、
amazon-redshift
我有一些
数据
存储在
S3
中。我需要定期
将
这些
数据
从
S3
克隆/复制到Redshift集群。要执行海量复制,我可以使用copy命令
从
S3
复制到红
移
。同样,是否有任何简单的方法可以定期
将
数据
从
S3
复制到Redshift。 谢谢
浏览 26
提问于2016-07-29
得票数 1
1
回答
红
移
光谱要读取的文件的
数据
格式是什么?
amazon-web-services
、
amazon-redshift
、
dataformat
、
amazon-redshift-spectrum
我一直在读“红
移
光谱”,有些事情我就是不明白。 每次我查询时,它是否仍然
从
文件中获取
数据
?意思是,假设我运行查询1.更新现有文件。并再次运行查询。我会得到不同的结果吗?或者这些
数据
已经以某种方式被拉进了光谱?
浏览 1
提问于2019-11-26
得票数 0
1
回答
将
一个表
从
RDS
/ postgres加载到Redshift中
postgresql
、
amazon-web-services
、
amazon-redshift
、
amazon-rds
我们有一个Redshift集群,需要一个来自
RDS
/ postgres
数据
库的表。我不太确定导出
数据
并输入
数据
的最佳方法,确切的步骤应该是什么。在拼凑各种博客和文章时,大家的共识似乎是使用pg_dump
将
表复制到csv文件中,然后将其复制到
S3
桶中,然后使用Redshift COPY命令将其放入一个新表--这是我的高级理解,但不确定命令行开关应该是什么
浏览 2
提问于2020-10-30
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
AWS 瘫痪:DNS 被 DDoS 攻击了 15 个小时
AWS发布新的S3智能分层归档访问层,降低用户使用成本
VMware,AWS预览数据库在vSphere上
亚马逊Aurora支持PostgreSQL 14
亚马逊彻底去掉 Oracle 数据库:迁移完成
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券