为什么Amazon Redshift只允许每个表有一个排序关键字？

文章/答案/技术大牛

发布

1回答

amazon-redshift

在Redshift中，只能将一列指定为排序关键字。我想知道为什么面向列的DBMS会有这样的限制。rowid name age 2 Jill 35Kevin:1,Jill:2,Billy Bob:3 我认为可以单独对它们进行排序

浏览 13提问于2016-09-10得票数 1

回答已采纳

4回答

我应该迁移到Redshift吗？

postgresql、nosql、bigdata、amazon-redshift

我目前正在努力查询存储在分区表中的数据块(每个日期的分区)date, product_id, orders2019-11-01, 2, 2002019-11-02, 1, 300 我有数百个日期分区，每个日期有数百万行。现在，例如，如果我想要查询产品id 1和2在2周内的总订单，并按日期分组(在每个日期的图形中显示)，数据库必须转到2周的分区并获取它们的数据。我读到过AWS Redshift适用于这类任务。我正在考虑将我的分区表</e

浏览 8提问于2019-11-21得票数 4

1回答

红移复合排序键-我们应该使用多少列？

amazon-redshift

我正在Amazon Redshift上构建几个非常大的数据表，其中应该包含几个经常查询的属性以及相关指标的数据。它绝对应该是复合的-每个查询都会在日期和网络上使用第一个过滤器-但在这个级别之后，我有大约7个额外的相关因素可以查询。我见过的所有例子都使用2-3个字段的复合排序关键字，最多4个。我的问题是，-why不使用包含表中所有键字段的sortkey吗？有一个长的sortkey的缺点是什么？

浏览 1提问于2017-08-27得票数 0

1回答

红移创建不带基表的视图

amazon-redshift、ddl、sql-view

我正在尝试在我们的Amazon Redshift中创建视图。问题是，一些基表还不是我的合作伙伴创建的，所以我想创建没有它们的视图。CREATE OR REPLACE FORCE VIEW ....返回语法错误。如何在没有基表的情况下创建视图？

浏览 0提问于2018-09-12得票数 1

1回答

AWS红移柱状存储与分发样式

amazon-web-services、amazon-redshift

我一直在查看AWS文档，似乎无法理解分发样式是如何工作的，以及该数据是如何存储在Redshift上的。我理解什么是柱状存储数据库，但是当我在Redshift上阅读关于分发样式的文档时，它让我对数据如何存储在节点上感到困惑。分发样式被描述为将新加载的数据按行分发到计算节点的片上。如果表不参与联接，或者在键分发和所有分发之间没有明确的选择时，甚至分发也是合适的。均匀分布是默认的分发样式。那么，如果数据是按行分发的，那么如何将数据准确地存储到柱状存储中。

浏览 0提问于2017-10-19得票数 2

回答已采纳

1回答

对火花和红移执行查询

apache-spark、amazon-redshift、data-warehouse

我们的数据仓库在Redshift (50 is大小)。有时，业务用户会运行大型查询(太多的联接、内联查询--由BI工具(如Tableau)生成)。大查询会降低数据库性能。表通过JDBC连接，并驻留在Redshift上，实际处理在哪里进行(在Spark或Redshift中)？

浏览 6提问于2016-11-23得票数 2

2回答

Amazon Redshift的svv_table_info中的skew_sorkey1列意味着什么？

amazon-redshift

Redshift的文档()指出，如果定义了排序关键字，则列skew_sortkey1的定义是最大的非排序关键字列的大小与排序关键字的第一列的大小之比。使用此值评估排序关键字的有效性。这意味着什么？

浏览 0提问于2016-03-08得票数 6

1回答

对于查看/分析我存储在S3存储桶中的指标，有哪些好的策略/应用程序？

amazon-web-services、amazon-s3

我有一个满是明文指标的S3存储桶，我想要一种分析和查看这些数据的方法。我正在考虑的一个选择是Amazon Athena，但我想考虑几种方法的利弊。

浏览 20提问于2020-09-28得票数 0

5回答

为什么Redshift不需要物化视图或索引？

sql、amazon-redshift、materialized-views

在下 为什么是这种情况？

浏览 11提问于2016-05-31得票数 7

回答已采纳

4回答

无法在红移中使用generate_series()插入数据

sql、amazon-redshift

ERROR: Specified types or functions (one per INFO message) not supported on Redshift tables.

浏览 0提问于2017-05-15得票数 1

3回答

亚马逊红移模式设计

amazon-web-services、amazon-redshift、data-warehouse

我们正在研究Amazon来实现我们的数据仓库，请给出一些关于如何在Redshift中正确设计模式的建议。谢谢。

浏览 6提问于2017-03-03得票数 5

回答已采纳

1回答

Redshift中的sortkey是如何内部工作的？

database、amazon-web-services、amazon-redshift、data-warehouse

总的来说，我是Redshift和数据仓库的初学者。当数字或时间戳列指定为sortkey时，Redshift DBMS是否在查询期间使用二进制搜索来尽可能有效地查找所需的行？

浏览 1提问于2021-07-02得票数 2

回答已采纳

1回答

Redshift不承认新加载的数据是预先排序的

amazon-redshift

我正试图将非常大量的数据装入红移到一个单一的表，这将是成本太高，无法真空一旦加载。为了避免对此表进行真空，我使用COPY命令从大量预先排序的CSV文件中加载数据。我正在加载的文件是根据表中定义的排序键预先排序的。但是，在加载前两个文件之后，我发现redshift将表报告为未排序的大约50%。我已经验证了这些文件是否具有正确的排序顺序。为什么红移不承认新输入的数据已经排序了？我需要

浏览 2提问于2016-10-09得票数 1

回答已采纳

1回答

在Amazon* Redshift中生成可重现的随机样本的最快方法是什么？*

amazon-web-services、amazon-redshift

我有一个近十亿行的Amazon Redshift表，我想随机抽取其中的100000行。我尝试了一个几乎完全相同的查询from PageViews pvorder by md5('seed' || BrowserId)正如所描述的，但它需要两个或更多小时才能运行，因为排序操作主导了拉操作。

浏览 4提问于2016-07-22得票数 3

1回答

提高效率的红移表设计

amazon-redshift

我有一个具有单个dc1.large节点的redshift集群。在我大约有110m条记录的红移数据库中，如果我有一个没有排序键的表，那么搜索单个项ID大约需要30秒。如果我有一个表，在商品ID上有一个排序关键字，我得到一个商品ID的搜索时间大约是14-16秒。如果我有一个包含所有三列的交错排序

浏览 0提问于2016-08-12得票数 1

1回答

DBLink查询即使在完成后也不会终止

postgresql、amazon-redshift、amazon-rds、dblink、datagrip

我有一个Dblink查询Amazon RDS (Postgres)，它使用Amazon Redshift集群中的行执行插入操作。我看到的唯一区别是表的大小，在第一种情况下更大。所有这些查询都只是复制整个表。* $REDSHIFT$) as table_n(...) ); 其中“外部服务器”是我与Redshift的连接。我知道查询已经完成，因为rds_tab

浏览 49提问于2019-10-17得票数 0

回答已采纳

1回答

Amazon Redshift COPY with transformation

amazon-redshift

Redshift有一个复制操作，允许您将文件从S3复制到Redshift ()中。

浏览 1提问于2014-11-07得票数 0

3回答

带分区的Amazon红移谱不返回结果

amazon-web-services、amazon-s3、amazon-redshift-spectrum

给定以这种方式按日期划分的S3桶：|___month |___file_*.parquetcreate external

浏览 1提问于2021-08-29得票数 1

回答已采纳

1回答

为什么在将排序行插入排序的数据库表中时，如果最后没有附加行，那么为什么真的需要诉诸呢？

database、amazon-web-services、sorting、amazon-redshift

假设我们有一个排序表A和一个排序表B，我们希望将B的所有行插入到A中。根据我到目前为止所读到的内容(如果我错了，请更正)，将A中的行从B中插入将导致一个未排序的表，除非B的排序键值都大于A的最大排序键值(例如B是时间序列A的延续，而排序键是时间戳)。根据我的理解，在任何情况下都应该可以合并A中的B行，同时通过在A中插入每个B的元素来保持结果数组的

浏览 6提问于2021-12-22得票数 -1

1回答

自动删除保留期后的红移截断/删除数据

node.js、amazon-web-services、amazon-redshift

我有一个红移表，它存储了大量的数据。每个周末，我都会手工使用Workbench来截断上周我不再需要的数据。我必须手动运行是否有可能以某种方式告诉表，或者有一些过期策略为我每个星期天删除数据如果没有，是否有办法每7天自动执行删除过程？nodeJS中的某种shell脚本或cron作业就是

浏览 2提问于2017-09-24得票数 7

回答已采纳

点击加载更多