腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如
何在
Amazon
Redshift
中
定期
插入
数据
?
amazon-web-services
、
amazon-s3
、
amazon-redshift
我希望
定期
将S3 (或其他字体)
中
的
数据
插入
Amazon
Redshift
,即,当
数据
添加到我的S3存储桶时,我想要一个自动将其添加到
Amazon
Redshift
集群的选项。
浏览 103
提问于2021-08-16
得票数 0
1
回答
什么是最理想的方式自动化的
数据
(csv文件)从s3到红移没有s3管道?
amazon-web-services
、
amazon-s3
、
aws-lambda
、
amazon-redshift
、
aws-glue
我试图将存储在s3桶
中
的csv文件
中
的sql
数据
传输到
中
,并将该过程自动化。使用lambda/胶水编写etl脚本是否是解决此问题的最佳方法,如果是,如何使脚本/传输
定期
运行?如果不是,从s3到
Redshift
的最理想的方式是什么? 尝试使用AWS管道,但在我的地区是不可用的。我还试图使用Lambda和Glue的AWS文档,但不知道在哪里找到问题的确切解决方案
浏览 0
提问于2019-07-03
得票数 0
回答已采纳
4
回答
定期
将查询结果从
Redshift
移动到S3桶
amazon-web-services
、
amazon-s3
、
amazon-redshift
我的
数据
在
Redshift
集群
中
的一个表
中
。我希望
定期
对
Redshift
表运行一个查询,并将结果存储在一个S3桶
中
。 我将在S3桶
中
对这些
数据
运行一些
数据
转换,以输入另一个系统。根据AWS文档,我可以使用UNLOAD命令,但是是否有办法
定期
安排?我找了很多东西,但没有找到任何相关的信息。
浏览 10
提问于2016-03-16
得票数 3
1
回答
如
何在
zsh
中
设置s3复制命令
amazon-web-services
、
amazon-s3
、
zsh
、
aws-cli
我创建了s3.zsh,如下所示#!
浏览 3
提问于2021-07-06
得票数 0
2
回答
我们是否可以使用sqoop将
数据
从Hadoop (Hive)导出到
Amazon
Redshift
amazon-web-services
、
hadoop
、
etl
、
sqoop
我有一个本地Hadoop集群,想要将
数据
加载到
Amazon
Redshift
中
。考虑到成本,Informatica/Talend不是一个选项,所以我们可以利用Sqoop将表从Hive直接导出到
Redshift
中
吗?Sqoop连接到
Redshift
吗?
浏览 3
提问于2016-09-23
得票数 3
2
回答
红移
插入
查询的最大大小是多少?
amazon-web-services
、
elasticsearch
、
amazon-redshift
我正在尝试将多行
数据
批次到
Redshift
INSERT查询
中
。为了保持效率,我想知道在我需要开始一个新的批次之前我能做的最大长度。如果有更好的办法,请告诉我。 编辑:我有点含糊。我正试着从Elasticsearch到
Redshift
。
浏览 0
提问于2018-09-19
得票数 2
回答已采纳
1
回答
是否可以使用python包使用大容量复制命令加载
redshift
。我看不出有什么办法
boto
、
amazon-redshift
是否可以使用python包使用大容量复制命令加载
redshift
。我看不出有什么办法做到这一点。似乎需要一个JDBC客户端。
浏览 1
提问于2014-11-26
得票数 0
1
回答
DBLink查询即使在完成后也不会终止
postgresql
、
amazon-redshift
、
amazon-rds
、
dblink
、
datagrip
我有一个Dblink查询
Amazon
RDS (Postgres),它使用
Amazon
Redshift
集群
中
的行执行
插入
操作。查询在15/20分钟后终止,如果不是更长的话,但我可以看到所有行都在几分钟后被
插入
。我正在通过JetBrains的DataGrip运行这些查询。其他一些类似的dblink在相同的连接上,
如
预期的那样终止。我看到的唯一区别是表的大小,在第一种情况下更大。 所有这些查询都只是复制整个表。如果我这样做了,
插入
的行将保留在<
浏览 49
提问于2019-10-17
得票数 0
回答已采纳
2
回答
使用复制命令将
数据
从亚马逊S3加载到红移-如
何在
红移
中
存储复制时间
amazon-web-services
、
amazon-s3
、
amazon-redshift
我正在使用
Amazon
Firehose流式传输在线
数据
,使用Lambda应用转换,并通过S3将
数据
加载到
Redshift
。Firehose
中
的COPY命令为:我想知道Firehose制作S3到
Redshift
副本的确切时间,这样我就可以将其存
浏览 4
提问于2017-07-18
得票数 0
1
回答
DynamoDB读取和写入每小时800万条记录并复制到
Redshift
的成本
amazon-dynamodb
、
amazon-redshift
我们有一个流,它平均创建800万条记录/小时(2500条记录/秒),我们希望使用aws将其
插入
到DynamoDB
中
。 每一张唱片的最大尺寸为450字节。
数据
实时
插入
到DynamoDB
中
。为了分析的目的,我们也需要相同的
数据
在
Redshift
中
。因此,每15分钟我们需要同步Dynamodb表到
Redshift
表。企业只想在顶级红移集群上进行分析。因此,我们与
Amazon
支持部门进行了核对:他们清楚地
浏览 3
提问于2019-09-22
得票数 1
回答已采纳
1
回答
将增量
数据
(CDC)从
Amazon
RDS移动到
Redshift
?
amazon-web-services
、
amazon-s3
、
amazon-redshift
、
amazon-rds
、
amazon-aurora
我需要将增量
数据
从
Amazon
Aurora Postgres移动到
Amazon
Redshift
。这将是一项日常工作。新的
数据
将被
插入
到
Redshift
中
,如果现有
数据
有变化,它将被更新。
浏览 1
提问于2020-06-16
得票数 1
1
回答
我可以在
RedShift
中
创建快速
插入
暂存表吗?
sql
、
bigdata
、
amazon-redshift
我们正在努力将分析
数据
实时存储到
RedShift
中
.但是,由于存储特性,单个
插入
在
RedShift
中
的工作速度很慢。一种解决方案是在我们的应用程序
中
收集这些
插入
内容,然后将它们作为一个批量上传到
RedShift
中
。然而,这将需要一些讨厌的架构改变,在我们的应用程序,所以我正在寻找其他方法。例如,是否有一种在
RedShift
中
创建快速暂存表的方法--使其不使用压缩列(?)存储并允许快
浏览 4
提问于2014-11-06
得票数 1
1
回答
如何将Jmeter连接到红移
数据
库
sql-server
、
database
、
jdbc
、
jmeter
、
amazon-redshift
你好,我想寻求您的帮助,因为我有困难,我的J仪表连接到我们的红移
数据
库。您的答复将不胜感激。提前谢谢你。我做的步骤与J抄库
中
的复制-Input
数据
库URL、JDBC驱动程序类、用户名和密码-Run千兆计
数据
库网址: jdbc:
redshift
://
redshift
-db.compa
浏览 4
提问于2022-11-09
得票数 0
回答已采纳
1
回答
无法在红移光谱外部架构
中
创建视图
sql
、
amazon-web-services
、
amazon-redshift
、
amazon-redshift-spectrum
我在spectrum外部表的外部模式
中
创建视图时遇到了一个问题。as我得到了下面的错误 错误:未启用对外部架构
中
的本地对象的操作
浏览 13
提问于2020-05-12
得票数 1
回答已采纳
3
回答
亚马逊红移模式设计
amazon-web-services
、
amazon-redshift
、
data-warehouse
我们正在研究
Amazon
来实现我们的
数据
仓库,请给出一些关于如
何在
Redshift
中正确设计模式的建议。 我对红移完全陌生。过去,当我使用“传统”
数据
仓库时,我习惯于创建模式,
如
"Source“、" stage”、"Final“等,以便根据
数据
所处的阶段对所有
数据
库对象进行分组。默认情况下,
Redshift
中
的
数据
库只有一个模式,命名为PUBLIC。那么,我要问的是那些
浏览 6
提问于2017-03-03
得票数 5
回答已采纳
1
回答
红移: 500310无效操作
amazon-web-services
、
amazon-redshift
我正在使用talend在
Amazon
Redshift
上
插入
数据
到表
中
。java代码由talend生成,但
Amazon
Redshift
不支持today()函数。我正在尝试从Salesforce加载一个表,并使用talend将其放入
Redshift
中
。:804) at com.
amazon
.
redshift
.client.PGMessagingContext.handleMessage(PG
浏览 23
提问于2019-07-18
得票数 0
2
回答
亚马逊红移MAX_STEPS限制
database
、
amazon-web-services
、
amazon-redshift
当我试图在
Amazon
Redshift
上运行一个巨大的查询时,我得到了以下错误: 红移有4张桌子。
浏览 47
提问于2014-06-24
得票数 1
2
回答
如何实时加载到亚马逊红移?
amazon-s3
、
aws-lambda
、
amazon-redshift
、
data-warehouse
、
amazon-kinesis-firehose
我们正在评估
Amazon
的实时
数据
仓库。实时
数据
加载到
Amazon
的最佳实践是什么?我担心使用这些服务
中
的一种,因为这两种服务都将使用
Amazon
作为中间层,并执行COPY命令,该命令适用于较大的
数据
集,而不是“一行”
插入
。
浏览 2
提问于2017-01-14
得票数 10
回答已采纳
3
回答
使用python从AWS红移加载
数据
python-3.x
、
pandas
、
sqlalchemy
、
amazon-redshift
我面临着一项任务,无法从Amazone
Redshift
中提取大量
数据
到另一个表。这肯定需要一种更有效的方法,但我对SQL和AWS并不熟悉,所以决定向这个聪明的社区征求意见。我正在考虑使用python和sqlalchemy来创建包含100万行的
数据
块,并将其
插入
到新表
中
(我需要事先创建这个表)。这个有用吗?:import os
redshift
_user = os.env
浏览 0
提问于2019-01-12
得票数 0
2
回答
将流
数据
插入
到
Amazon
集群
中
amazon-web-services
、
spark-streaming
、
amazon-redshift
我试图将火花流
数据
直接
插入
到
Amazon
集群
中
,但无法找到正确的方法。 .format("com.databrick
浏览 0
提问于2018-01-29
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
亚马逊彻底去掉 Oracle 数据库:迁移完成
云技术的发展会让数据仓库呈现哪些新趋势?
2021 re:Invent ,我们到底该关注哪些发布?
Apache DolphinScheduler 正式发布3.0.0 版本
AWS发布新服务Amazon S3 Storage Lens
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券