排除Redshift中后面的重复记录

文章/答案/技术大牛

发布

1回答

amazon-web-services、amazon-redshift、row-number

我有一个无法解决的简单SQL问题(我正在使用Amazon Redshift)。18:221, hit, referal 07/08/2017: 11:19:551, visit, seo, 07/08/2017: 11:11:22 **1,

浏览 1提问于2017-08-08得票数 1

回答已采纳

1回答

我需要在gradle中更新JDBC Redshift驱动程序的版本，它看起来1.3X有以下问题： SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:~/.gradle/caches/modules-2/files-2.1/com.amazon.redshift/redshift-jdbc42/1.2.37.1061/daad2

浏览 0提问于2019-12-19得票数 0

1回答

亚马逊消防局更新红移记录

amazon-web-services、amazon-kinesis-firehose

我们通过API> Kinesis > Lambda > FireHose > Redshift表使用所有分析提要。AWS是我们的转换足迹，它接受Kinesis记录，根据上下文更改分析事件&将其删除到FireHouse，以保存到Redshift DB。在这段旅程中，我们想要更新某些条件下的红移记录(基本上是UPSERT ( Insert = update更新) )。消防水管里有什么可以避免红移中重复记录的东西吗？

浏览 2提问于2016-11-18得票数 4

1回答

Access:如果两个字段相同，则删除重复

database、ms-access、ms-access-2010

我想要创建一个查询，它排除了重复记录中的一个(或多个)。排除重复记录的条件是:如果PriceBefore和PriceAfter字段不相等，则它们被视为重复。在上面的示例表中，ID 7和8的记录具有相同的ProfileID。对于ID 8，PriceBefore和PriceAfter是不等于，因此应该将此记录排除在查询之外。

浏览 1提问于2016-01-27得票数 0

回答已采纳

2回答

Informatica数据质量匹配分析

informatica-powercenter、data-quality

在我们的重复分析需求中，输入数据有1418条记录，其中1380条记录是重复记录。在与PowerCenter集成的IDQ中使用匹配分析(使用的关键字生成器、匹配器、协作者、合并程序)，除8条记录外，所有重复记录都被消除。通过排除这些记录来执行工作流时，重复记录将出现在上次运行中未出现重复记录的其他记录中。谁能告诉我为什么会发生这种不匹配的情况？

浏览 3提问于2012-01-25得票数 1

1回答

在ETL过程中发出数据库中的重复记录

python、postgresql、amazon-s3、amazon-redshift、etl

从python生成的数据被上传到目标表中。但是，对于目标表中的重复记录，我有一个问题：|------|------------------|------------8) records |

浏览 0提问于2018-05-10得票数 0

回答已采纳

1回答

使用pandas查找重复项时结果不一致

python、pandas

当我运行下面的命令来获取重复记录的列表时，我得到了3230行的不同输出当我使用子集运行下面的命令来获取重复记录的列表时，我得到了3298行的不同输出 dupdf2 = df[df.duplicated(subset=["customer_idproduct_id","price"],

浏览 3提问于2021-09-27得票数 0

1回答

在输出数据集中包含分区列的复制选项

python、snowflake-cloud-data-platform

我们正在将数据平台从Redshift迁移到雪花，在将复制/卸载命令从Redshift转换到雪花时，我们遇到了一个问题，即Redshift卸载命令正在创建分区数据集。雪花在“复制到”命令中确实有一个选项来指定分区列，而与Redshift相比，我们看到了输出数据集中的一些差异：雪花包括输出数据集/卸载文件中

浏览 1提问于2021-01-22得票数 1

3回答

如何在Netsuite transactions表中标识已删除的事务

sql、amazon-redshift、netsuite

我正在使用从NetSuite后端表拉入NetSuite的数据在Redshift外部构建报告(以便将这些数据与其他源系统中的数据连接起来)。我有几个表已经被完全导入到Redshift中，我根据它们来编写查询。在尝试从每月损益表中重新创建一些值时，我注意到我的总数与NS UI中显示的值不一致。在与我们的财务团队进行故障排除后，似乎他们删除了3张发票，但仍显示在交易表中。我不会将其作为IsDeleted字段或类似的字段。如何确定表中

浏览 3提问于2017-09-27得票数 1

7回答

AWS红移:未被授权承担角色的主用户

amazon-web-services、amazon-redshift、amazon-iam

我用redshift集群和一个主用户: testuser创建了一个cloudformation堆栈 "IamRoles" : [ "Service": [ "redshift.amazonaws.comResource": &qu

浏览 1提问于2018-03-31得票数 10

回答已采纳

1回答

在Redshift中，有没有办法在表之间复制或克隆授权？

sql、amazon-redshift、grant

由于Redshift的仅附加特性，我们经常需要合并表格以删除重复记录并显示记录的最新版本。为了准备这个过程，重命名了基表，并制作了它的副本。将执行一个脚本来扫描插入表，并将最新的唯一记录移动到新的基表中。但是，如果该表在此过程开始之前已经运行了一段时间，则在创建克隆时可能不会复制该表上的某些授权。我们通常没有原始表DDL，尽管我们能够通过https://github.com/awslabs/amazon-redshift-utils/blob/master

浏览 5提问于2019-04-30得票数 4

3回答

正则表达式替换字符串模式

sql、regex、replace

我试图检查从列中排除字符串模式的最佳和最佳方法，而不影响实际数据。在Redshift DW中，我有一个表列公司，它的某些记录以不同的方式以INC结尾，因此希望排除INC的字符串模式，只捕获公司名称。请参阅下面的样本数据和预期输出。

浏览 0提问于2019-07-01得票数 0

回答已采纳

2回答

将数据从aws lambda推送到redshift

amazon-web-services、amazon-redshift、aws-lambda

我正在尝试创建一个Lambda函数，它将连接到RedShift：var conString = 'postgresql://username:Passwordpg.Client(conString); console.log('could not connect to redshift

浏览 3提问于2016-05-25得票数 4

1回答

红移-过滤掉字符的左或右为空白的行。

sql、amazon-redshift

我正在尝试检查一个条件，该条件排除在连字符(-)左边或右边具有空值的行。样本数据：apple - bananaapple - data_set apple - banana

浏览 0提问于2019-08-16得票数 0

回答已采纳

3回答

获取红移`stl_load_errors`错误的表信息

amazon-web-services、amazon-redshift

我使用Redshift复制命令将数据从S3加载到Redshift表中。当出现问题时，我通常会得到一个错误ERROR: Load into table 'example' failed.从来看，下面的查询应该给出我所需的所有细节：FROM stl_load_errors errors ON errors.tbl经过一些故障排除后，我看到了我不明白的两件事：我在stv_tbl_p

浏览 1提问于2016-06-15得票数 3

回答已采纳

2回答

如何从AWS Aurora连续填充Redshift群集(非同步)

amazon-redshift、amazon-aurora、amazon-dms

我还有一个将用于OLAP的Redshift集群。目标是将插入和更改从Aurora复制到Redshift，而不是删除。在这种情况下，Redshift将是一个不断增长的数据存储库，而Aurora数据库将具有创建、修改和销毁的记录- Redshift记录永远不应该被销毁(至少，不应作为此复制机制的一部分)。我正在查看DMS，但DMS似乎没有从复制中排除删除的粒度。设置所需环境的最简单、最有效的方法是什么？我也对第三方解决方案持开放态度，只要他们在AWS中工作。当前已设置DMS连续同步。

浏览 5提问于2019-01-25得票数 1

2回答

使用SQLWorkbench连接到Amazon时操作超时错误

amazon-web-services、amazon-redshift

我在Amazon数据库中创建了一个集群，并配置了安全入站规则。当尝试使用SQLWorkbench客户端工具连接到它时，我会得到以下错误。 AmazonError设置/关闭连接:操作超时。

浏览 0提问于2016-01-05得票数 2

5回答

将数据从亚马逊S3复制到红移，并避免重复行

amazon-web-services、amazon-s3、duplicates、copy、amazon-redshift

在此过程中，我需要避免再次加载相同的文件。我的红移表没有任何独特的约束。有没有办法使用copy命令来实现这一点？我尝试添加唯一约束并将列设置为主键，但没有成功。Redshift似乎不支持唯一/主键约束。

浏览 1提问于2013-03-29得票数 11

回答已采纳

1回答

如何使用Python连接到我的亚马逊RedShift集群？

python、amazon-redshift

我有我的亚马逊RedShift集群的ODBC url。我编写了一个简单的Python脚本来连接到集群，但是连接始终失败。(53)；01S00ODBC Server连接字符串属性(0)‘) 2) 'Driver={Amazon Redshift (x64)}; Server=$SERVER; Database=$DB

浏览 1提问于2015-07-30得票数 0

2回答

将Redshift脚本作为服务运行

scripts、20.04、services、redshift

当我在终端中执行它时，脚本可以工作，但是当我试图在.service文件中执行它时，我会遇到问题。任何帮助都将不胜感激。#!/bin/bash通过运行./redshift.sh，我看到我的屏幕改变了颜色温度，得到了输出：Using method randr。/usr/bin/redshift.shWantedBy=defa

浏览 0提问于2020-09-04得票数 2

点击加载更多