腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
5
回答
定期将S3存储桶
中
的
数据
流式传输到红移
amazon-s3
、
amazon-redshift
我有一些
数据
存储
在
S3
中
。我需要定期将这些
数据
从S3克隆/
复制
到
Redshift
集群。要执行海量
复制
,我可以使用copy命令从S3
复制
到
红移。同样,是否有任何简单
的
方法
可以定期将
数据
从S3
复制
到
Redshift
。 谢谢
浏览 26
提问于2016-07-29
得票数 1
2
回答
在
Redshift
中
创建
计划
查询
的
最
有效
方法
是什么
,
即从
一个
表
复制
数据
并
将其
输入
到
另一个
表
?
sql
、
amazon-redshift
我是
Redshift
的
新手,我想知道更新
一个
表
(而不是通过替换合并)
的
最
有效
的
方法
是什么
,其中我有userId,branchId和date与来自Users
表
的
值。前提是计算分支
中
的
用户数( users
表
中有
一个
branchId列),并将此任务设置为每24小时重复执行一次。这在
Redshift
中
浏览 29
提问于2020-07-03
得票数 0
1
回答
将
一个
表
从RDS / postgres加载到
Redshift
中
postgresql
、
amazon-web-services
、
amazon-redshift
、
amazon-rds
我们有
一个
Redshift
集群,需要
一个
来自RDS / postgres
数据
库
的
表
。我不太确定导出
数据
并
输入
数据
的
最佳
方法
,确切
的
步骤应该
是什么
。
在
拼凑各种博客和文章时,大家
的
共识似乎是使用pg_dump将
表
复制
到
csv文件
中
,然
浏览 2
提问于2020-10-30
得票数 1
回答已采纳
1
回答
不使用Scala或Python
的
AWS EMR
中
的
数据
转换
amazon-web-services
、
amazon-redshift
、
amazon-emr
我有一种星型模式
的
数据
库结构,就像
一个
包含所有id和skey
的
事实
表
,而有多个维度
表
包含事实
表
中
引用
的
id
的
实际id、代码和描述。
查询
:我需要在云上执行转换(即)我需要剥离所有
在
事实
表
中
引用
的
id和skey,并
将其
替换为驻留在维度
表
中
的
实际代码,
并<
浏览 4
提问于2017-08-08
得票数 2
2
回答
用两个csv填充红移相同
的
条目
csv
、
amazon-web-services
、
amazon-s3
、
amazon-redshift
示例:Csv 2: key,d4,d5这个是可能
的
吗?如果你知道怎么做的话,告诉我,但我
最
关心
的
是它是否可以从一开始。
浏览 1
提问于2017-07-14
得票数 0
回答已采纳
1
回答
查找哪一列导致
查询
中
的
postgresql异常。
sql
、
postgresql
、
amazon-redshift
我有
一个
在
Redshift
中有大约200列
的
分期
表
。我首先将
数据
从S3
复制
到此
表
,然后使用大型insert将
数据
从该
表
复制
到
另一个
表
中
,然后将
数据
复制
到
select from
查询
中
。暂存
表
中
的</
浏览 3
提问于2014-08-29
得票数 2
2
回答
Redshift
中
的
链式CTE -我如何知道CTE将继承哪个DIST密钥?
view
、
amazon-redshift
、
common-table-expression
我
在
Redshift
中有
一个
视图,它由许多相互连接(链接)
的
CTE组成。在这些CTE
中
,多个
表
之间存在连接。如果我随后连接到
一个
CTE,其中包含多个
表
的
连接,那么连接
的
排序键和DIST键从哪里来?
Redshift
如何决定CTE
的
连接
中
的
哪个
表
,CTE应该继承它
的
DIST键和排序键?如果真的是这样呢?例如,tbl
浏览 26
提问于2021-05-12
得票数 0
2
回答
Glue爬虫如何在红移
表
中加载
数据
?
amazon-web-services
、
amazon-s3
、
web-crawler
、
amazon-redshift
、
aws-glue
我是
一个
新
的
AWS用户,对它
的
服务感到困惑。
在
我们
的
公司
中
,我们将
数据
存储
在
S3
中
,因此我
在
s3
中
创建
了
一个
桶,
并
创建
了
一个
AWS爬虫来将这个
表
加载到
Redshift
表
(我们
在
公司
中
通常这样做),我
在
<e
浏览 2
提问于2021-05-20
得票数 2
回答已采纳
1
回答
为什么我不能加入information_schema.columns为我
的
表
获取列列表?-
Redshift
SQL
sql
、
database
、
amazon-redshift
、
information-schema
AC我偶然看到了information_schema.columns
表
,如果我指定WHERE table_name = 'my_table' AND table_schema= 'my_schema',它将允许我获得
表
的
列列表。我希望获得所有
表
的
所有列,特别是
在
我
的
relevant_tables
表
中
,如下所示: schema_name table_
浏览 8
提问于2022-02-16
得票数 0
回答已采纳
1
回答
在
mysql期间缓慢插入和更新命令,以进行红移
复制
amazon-redshift
、
binlog
我试图使
复制
服务器从MySQL
到
redshift
,为此,我正在解析MySQL绑定日志。对于初始
复制
,我将获取mysql
表
的
转储,
将其
转换为CSV文件并
将其
上载到S3,然后使用
redshift
复制
命令。因此,性能是
有效
的
。有什么可以做
浏览 4
提问于2017-11-16
得票数 6
1
回答
红移SQL:交换和聚合行
到
列
sql
、
amazon-redshift
以下是
Redshift
中
的
一个
表
T1:我试图以以下方式
创建
一个
查询
来表示它:构建
查询
的
最优
方法
是什么
。
输入
表
是
在
另一个
SQL
查询
中
动态
创建
的
,该
查询
的
结果集不会像400
到<
浏览 0
提问于2016-07-16
得票数 0
回答已采纳
2
回答
将当前
Redshift
模式导入
Redshift
QA环境
amazon-web-services
、
amazon-s3
、
amazon-redshift
、
amazon-redshift-spectrum
我希望在当前DB环境
中
没有
数据
的
情况下将我当前
的
Redshift
DB方案
表
结构导出到
另一个
redshift
DB环境。模式将存储
在
我
的
S3桶上,我希望将相同
的
方案
表
结构从prod环境
中
移到我
的
测试红移环境
中
,而不需要任何
数据
。导致这两个环境具有相同
的
结构。我发现AWS建议通过S3桶使用UNL
浏览 2
提问于2020-12-14
得票数 0
回答已采纳
2
回答
在
写到
Redshift
DW之前,如何从S3桶中转换
数据
?
amazon-s3
、
amazon-redshift
、
etl
、
data-warehouse
我
在
红移
中
创建
了
一个
(现代
的
)
数据
仓库。我们所有的基础设施都托管
在
亚马逊。到目前为止,我已经将DMS设置为从业务
数据
库
的
某些
表
( EC2上
的
Server,而不是RDS)
中
摄取
数据
(包括更改
的
数据
),并
将其
直接存储
到
S3。现在,我必须从S3
中
转换和充实这些
数据
浏览 1
提问于2020-02-11
得票数 2
回答已采纳
5
回答
使用Airflow在
数据
库之间移动和转换
数据
airflow
使用airflow,我从MySQL
数据
库中提取
数据
,使用python进行转换,并
将其
加载到
Redshift
集群
中
。编辑:这是
一个
关于气流
的
问题,是选择任务粒度以及如何在它们之间传递
数据
的
浏览 36
提问于2017-01-10
得票数 13
3
回答
使用python从AWS红移加载
数据
python-3.x
、
pandas
、
sqlalchemy
、
amazon-redshift
我面临着一项任务,无法从Amazone
Redshift
中提取大量
数据
到
另一个
表
。这肯定需要一种更
有效
的
方法
,但我对SQL和AWS并不熟悉,所以决定向这个聪明
的
社区征求意见。这是我最初
的
SQL
查询
,它要花费很长时间:SELECT DISTINCT at_id, utc_time, namemy_new_table F
浏览 0
提问于2019-01-12
得票数 0
4
回答
仅将新记录从亚马逊DynamoDB
复制
到
亚马逊红移
amazon-web-services
、
amazon-dynamodb
、
amazon-redshift
我看到有大量
的
示例和文档将
数据
从DynamoDB
复制
到
Redshift
,但我们正在研究
的
是
一个
增量
复制
过程,其中只将新行从DynamoDB
复制
到
Redshift
。我们每天都会运行这个
复制
过程,所以不需要每天删除整个红移
表
。有没有人对这个话题有什么经验或想法?
浏览 1
提问于2014-01-08
得票数 7
1
回答
AWS
数据
湖
excel
、
amazon-web-services
、
amazon-s3
、
amazon-athena
、
data-lake
还是允许胶水
在
您
的
数据
湖
中
爬行s3桶以使用这些
数据
格式? 我已经浏览过"“文档,我不得不绞尽脑汁地想要把
数据
输入
湖里。我有
一个
数据
提供程序,它以excel和access文件
的
形式存储在他们
的
系统
中
。基于流程流,他们会将
数据
上载到提交s3桶
中
,这将引发一系列操作,但没有将
数据
转换为与其他工具一起工作
的
格
浏览 4
提问于2017-09-21
得票数 2
回答已采纳
4
回答
无法
在
红移中使用generate_series()插入
数据
sql
、
amazon-redshift
我正在尝试使用下面的
查询
插入未来10天
的
所有日期。ERROR: Specified types or functions (one per INFO message) not supported on
Redshift
tables.当我只执行SELECT part时,它会给出正确
的
结果 SELECT CURRENT_DATE + generate_series(0, 10) AS checkin;
浏览 0
提问于2017-05-15
得票数 1
2
回答
从Aurora
到
Redshift
同步
数据
amazon-web-services
、
amazon-redshift
、
amazon-kinesis
、
amazon-aurora
、
amazon-kinesis-firehose
我正在尝试建立AWS Aurora和
Redshift
之间
的
同步。实现这种同步
的
最佳
方法
是什么
?同步
的
可能
方法
可以是:- 为了查找
表
中
的
更改(因为我只做插入,更新并不重要),将这些更改导出到S3桶
中
的
平面文件
中
,
并
使用
Redshift
copy命令插入
到
Redshift
中
。
浏览 8
提问于2017-06-16
得票数 6
回答已采纳
1
回答
将Hive
表
从HDFS移动到Amazon
Redshift
r
、
hadoop
、
hive
、
amazon-redshift
我尝试将通过连接4-5个
数据
集
创建
的
Hive
表
传输到
Redshift
。这个过程应该如何实现? 我们
在
边缘节点上有R可用。蜂窝
表
必须先传输到S3,然后再从s3传输到红移。这是唯一
的
方法
吗?是否可以使用R,即使用RHive包将我
的
数据
集从HDFS移动到R,然后将此
数据
集从R移动到
Redshift
?
浏览 1
提问于2015-03-05
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PostgreSQL中数据批量导入优化方法
GitHub数据库架构优化:MySql集群虚拟分区和零停机数据迁移
【Power BI】在 Power BI 中设计数据模型创建日期表
在本地搭建MySQL进行数据处理
Github推荐:MySQL DBA不可错过的五大开源管理工具!
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券