腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
5
回答
AWS Glue to
Redshift
:重复数据?
python
、
amazon-web-services
、
amazon-s3
、
amazon-redshift
、
aws-glue
以下是我
如何
设置内容的一些要点:但是,有没有办法在
插入
新数据之前替换或
删除
行? 书签功能已启用,但不起作用。
如何
连接到
redshi
浏览 0
提问于2018-09-19
得票数 0
1
回答
如何
使用
Python
更新
、
插入
和
删除
Redshift
数据库
?
python-3.x
、
amazon-web-services
、
amazon-redshift
我可以
使用
psycopg2库创建表格,但是我无法
更新
和
删除
红移
数据库
中的记录。请建议一些方法来做到这一点。
浏览 20
提问于2020-07-14
得票数 0
2
回答
是否可以在
Redshift
中并行运行查询?
amazon-web-services
、
amazon-redshift
我想在
Redshift
中同时进行
插入
和
更新
。为此,我要将数据
插入
临时表,从原始表中
删除
更新
的条目,并
插入
所有新的
和
更新
的条目。因为
Redshift
使用
并发性,所以有时会重复条目,因为
删除
是在
插入
完成之前启动的。每次操作都
使用
非常大的睡眠,这不会发生,但是脚本非常慢。是否可以在
Redshift
中并行运行查询?
浏览 2
提问于2021-09-09
得票数 0
回答已采纳
1
回答
更快地
更新
数据库
?
mysql
、
database
、
amazon-redshift
我们正在尝试将我们的
数据库
(mysql)移动到amazon
redshift
(数据仓库),并且我们在
更新
仓库
数据库
时遇到了一个问题。我们已经在db上启用了常规日志记录,然后我们在
redshift
上重放了常规日志中的所有这些查询。所有的
更新
查询大约需要6-7秒。我正在寻找一些方法,以更快的速度执行这些
更新
?Amazon
redshift
内部
使用
postgre db,如果有人能为
redshift
/postgr
浏览 0
提问于2013-05-02
得票数 0
1
回答
有可能在S3
和
红移之间的移动消防软管?
amazon-web-services
、
amazon-s3
、
aws-lambda
、
aws-sdk
、
amazon-kinesis-firehose
我的团队正在尝试
使用
Redshift
来整合来自几个不同
数据库
的信息。在实现此解决方案的第一次尝试中,我们
使用
Kinesis将帖子记录写入API到S3中,然后发出一个COPY命令将
插入
的数据写入
Redshift
中的正确表。但是,这只允许我们
插入
新数据,并且不允许我们转换数据、更改时
更新
行或
删除
行。 在
Redshift
中不
使用
批处理转换维护
更新
的数据仓库的最佳方法是什么?理想情况下,当
浏览 3
提问于2016-03-29
得票数 1
回答已采纳
2
回答
psycopg2.ProgrammingError:在尝试copy_from红移时出现或接近"stdin“错误的语法错误
postgresql
、
python-3.x
、
stdin
、
amazon-redshift
、
psycopg2
我正在
使用
psycopg2运行
python
3.5。希望你们能帮忙!提前行动!
浏览 7
提问于2016-12-01
得票数 4
回答已采纳
1
回答
在mysql期间缓慢
插入
和
更新
命令,以进行红移复制
amazon-redshift
、
binlog
我试图使复制服务器从MySQL到
redshift
,为此,我正在解析MySQL绑定日志。对于初始复制,我将获取mysql表的转储,将其转换为CSV文件并将其上载到S3,然后
使用
redshift
复制命令。在初始复制之后,对于连续同步,当我读取binlog时,
插入
和
更新
必须按顺序运行,这是非常慢的。 有什么可以做的来提高业绩吗?但这并不能解决红移中单个update
和
insert语句运行非常慢的问题。一个update语句
使用
6s。了解
redshift<
浏览 4
提问于2017-11-16
得票数 6
1
回答
AWS DMS CDC到S3目标
amazon-s3
、
cdc
、
aws-dms
因此,我一直在尝试
使用
Data Migration Service Chance Data Capture将数据从MSSQL转换到S3 &也就是
Redshift
,可以实现什么效果。红移测试很好,如果我在源
数据库
中
删除
一条记录,一两秒钟后,该记录就会从
Redshift
中消失。与
插入
/
更新
等相同。如果我
浏览 0
提问于2019-07-25
得票数 4
1
回答
Redshift
表中并发
插入
的问题
python
、
amazon-web-services
、
amazon-redshift
、
aws-glue
、
pg8000
我正在尝试
使用
AWS胶水上的
python
脚本同时处理红移
数据库
中的
插入
/
更新
。我
使用
pg8000库来执行所有的
数据库
操作。并发
插入
/
更新
失败,出现错误Error Name:1023 ,Error State:XX000)。在研究该错误时,我发现该错误与有关。 有人可以查看代码并确保在进行
插入
/
更新
时不会发生冲突吗?我尝试在调用类中
使用
随机睡眠时间。它适
浏览 0
提问于2019-07-18
得票数 0
3
回答
从Amazon DMS到S3再到
Redshift
的ETL数据
python
、
amazon-web-services
、
amazon-s3
、
amazon-redshift
、
etl
我目前正在S3中构建一个数据湖,并且已经成功地
使用
DMS将数据从mysql迁移到S3。在DMS中,我选择了“迁移现有数据并复制正在进行的更改”选项。我将数据转换为csv,但将来可能会选择拼花。此方法创建一个初始csv文件,其中包含来自
数据库
表的所有原始数据。然后,它创建具有
插入
、
删除
和
更新
功能的后续csv文件。 现在我正在寻找一种将数据从S3复制到
Redshift
的策略。我正在寻找一种复制批量数据的策略,并将S3中的连续更改复制到
Redshift
中。我
浏览 1
提问于2017-11-12
得票数 0
1
回答
是否可以将DMS配置为在仅
插入
模式下运行?
mysql
、
amazon-web-services
、
amazon-redshift
我们有一个很大的MySQL销售表,我们想要复制到
Redshift
,
使用
亚马逊网络服务
数据库
迁移服务(DMS)流式传输数据。此表仅用于
插入
。一旦添加了销售,它就不会被
删除
或修改。我们希望在TTL之后定期修剪销售(他们将在
Redshift
中),以保持表格较小。然而,
删除
记录将被复制到
Redshift
。 DMS可以丢弃
删除
或以其他方式阻止记录从
Redshift
目标中
删除
吗?
浏览 2
提问于2017-05-04
得票数 1
1
回答
如何
在AWS Glue中运行查询
python
、
postgresql
、
amazon-redshift
、
aws-glue
我在AWS
Redshift
中有我需要的数据。它在一个名为Lz (Landingzone)的
数据库
中。这些数据被
插入
到一个名为Stage的
数据库
中(相同的红移)。我
使用
(select)查询将数据从原始状态(LZ)转换为所需的维度
和
事实。传统上,我会结合
使用
这些查询
和
insert来转换数据。结果将被合并到数据仓库中(同样:相同的红移) 我
如何
在Glue中做到这一点?我可以
使用
python
执行作业中的查
浏览 28
提问于2019-06-02
得票数 1
回答已采纳
1
回答
Redshift
-将文本列
插入
数据库
表时出现问题
amazon-redshift
、
psycopg2
、
python-jira
我正在尝试
使用
python
将数据从JIRA
更新
到
Redshift
DB。我在
更新
'description‘列中的值时遇到问题。DB中的目标列的类型为varchar。下面给出了我
如何
在将“description”列
插入
到
Redshift
DB之前修改它。df['description'].astype(str)DataError: value too long for type character var
浏览 1
提问于2018-07-05
得票数 0
2
回答
火花红移连接器:将保存与
删除
查询结合起来
apache-spark
、
amazon-redshift
我想用spark-
redshift
-connector (scala)定期
更新
Redshift
。每次
更新
都从
删除
操作开始。(我正在执行一种从向上
插入
到红移的)任何建议都将不胜感激。 谢了伊兰。
浏览 2
提问于2016-07-17
得票数 2
1
回答
AWS DMS:数据未复制到AWS
Redshift
amazon-web-services
、
amazon-rds
、
aws-dms
、
aws-redshift
、
amazon-dms
我的源
数据库
是AWS RDS,我的目标表是AWS
Redshift
。数据加载成功,但之后更改不会推送到目标
数据库
,并且没有任何异常。配置:迁移类型:满载,正在进行的复制源
数据库
: AWS RDS MariaDB目标
数据库
: AWS冗余 问题:首次上传后,不会对目标
数据库
进行
插入
、
更新
和
删除
操作。
更新
:我重新启动了DMS任务,它复制了目标
数据库
上的
数据库
记录,但现在它正在
更新
浏览 4
提问于2017-11-18
得票数 0
1
回答
用AWS实现红移的SCD2 GLue火花
pyspark
、
apache-spark-sql
、
amazon-redshift
、
aws-glue
、
scd2
我需要将数据从S3转移到
Redshift
。目前,我正在
使用
胶的工作。目前所需经费: 将红移表中记录的主键与传入文件进行比较,如果找到匹配项,则关闭旧记录的结束日期(从高日期
更新
到当前日期)并
插入
新记录。如果找不到主键匹配,则
插入
,然后
插入
新记录。实现:我已经通过以下步骤在Glue中实现了它:创建了dataframes,它将涵盖三种场景:如果找到匹配,则将
更新
现有记录的结束日期到当前日期。将新记录
插入
到查找PPK匹配的
Redshift
表
浏览 3
提问于2020-07-13
得票数 1
1
回答
为什么在我的情况下,rds的表现要比红移快?
database
、
amazon-web-services
、
amazon-redshift
、
amazon-rds
我有一个RDS实例: db.t2.xlarge (4 vCPU,16 GiB内存) (max_parallel_workers_per_gather=2) 关于红移: Avg
浏览 0
提问于2018-11-02
得票数 0
回答已采纳
1
回答
如何
更新
aws红移的特定行
python
、
aws-lambda
、
amazon-redshift
、
boto3
我
使用
lambda函数来
使用
boto3处理红移表行的
更新
。场景是前端将通过api网关发送数据,其中包括需要在
redshift
中
更新
的主键
和
完整行,api网关启动lambda进行
更新
。问题是,我无法找到一个解决方案,用它可以
更新
匹配主键的完整行。按照AWS医生的说法。可以
使用
Update命令,但是在Set列中,我必须传递每个属性,其值如下:Update test_table Set col1 = "test1"
浏览 1
提问于2022-09-28
得票数 0
1
回答
Spark Streaming
Redshift
性能问题
spark-streaming
、
amazon-redshift
我在我的Spark streaming代码中有许多在
Redshift
表上操作的创建表、
插入
和
更新
。我
使用
的是Spark 2.2、spark-
redshift
-preview 3.0.0 jar
和
scala 2.11.8。通过流式作业在
Redshift
中
插入
/
更新
5000行数据花费了超过20分钟的时间-这超出了我的spark微批处理窗口,并且使我的系统不稳定。我应该设置什么配置参数来加速Spark Strea
浏览 1
提问于2017-11-06
得票数 0
2
回答
如何
从AWS Aurora连续填充
Redshift
群集(非同步)
amazon-redshift
、
amazon-aurora
、
amazon-dms
我在AWS Aurora集群上运行了许多MySql
数据库
(OLTP)。我还有一个将用于OLAP的
Redshift
集群。目标是将
插入
和
更改从Aurora复制到
Redshift
,而不是
删除
。在这种情况下,
Redshift
将是一个不断增长的数据存储库,而Aurora
数据库
将具有创建、修改
和
销毁的记录-
Redshift
记录永远不应该被销毁(至少,不应作为此复制机制的一部分)。我正在查看DMS,但DMS似乎没有从复制中排除<
浏览 5
提问于2019-01-25
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
MongoDB的简单介绍(二)
python操作MongoDB库,增删改查如何做
Python 连接数据源与邮件功能(九)
操作MySQL数据库
Python交互之mongoDB交互详解
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券