MPP架构下数据倾斜 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

什么是MPP数据库? Oracle和SQL Server是否属于这些数据库？

sql-server、database、oracle、teradata

我们研究types.We数据库时发现其中一种类型就是MPP数据库。什么是MPP数据库? Oracle和SQL Server是其中之一吗?如果MPP数据库是数据仓库，我们可以创建数据仓库架构吗？

浏览 16提问于2016-10-11得票数 0

1回答

Postgres-XC和MPP

postgres-xc

我目前正在考虑使用Postgres或Postgres为大约20 TB或更多的数据创建一个长期数据存储。为什么Postgres不是MPP？

浏览 0提问于2014-08-08得票数 1

回答已采纳

1回答

Snowflake中使用的是平行提示吗

sql、snowflake-cloud-data-platform

我将查询从Oracle移植到Snowflake，查询如下： select /*+ parallel(SCHUC) */ schuc.time_period from some_schuc_table 我相信Snowflake在分散工作负载方面做得更好，那么提供一个并行提示仍然有帮助吗？

浏览 11提问于2020-07-24得票数 0

1回答

CREATE TABLE返回引用sp_changeobjectowner和不存在的架构时出错

sql-server

我在SQL Server2008 R2服务器上有一个数据库。我已经为这个模式创建了一个名为MPP的模式和一些表。有一个名为ASBJOR的数据库用户，但没有架构。如果我向MPP模式添加一个新表，错误消息的数量将会增加，并且其中一条消息会引用新的表。我已经尝试在默认的dbo模式中创建一个新表，并使用ALTER schema MPP传输将其移动到MPP模式...命令，但错误消息中仍显示新的表。您知道是什么原因导致此错误消息，或者我可以在数据库中查找更多核心详

浏览 32提问于2020-04-28得票数 0

回答已采纳

1回答

如何在不安装任何软件的情况下将MPP文件读入ASP.NET (C#)

ms-project、mpxj

我的同事要求我将.MPP数据导入到SQL Server数据库中。在谷歌了一段时间后，我发现MPXJ在某种程度上可以帮助我。因此，有没有人能建议一下，是否有办法将.MPP数据导入到SQL Server数据库中？先谢谢你...

浏览 6提问于2012-04-25得票数 0

1回答

Python和PostgreSQL的大数据检索与处理

python、performance、postgresql

我正在开发一个酒店数据分析仪表板，很像这个使用d3.js和dc.js (带有交叉过滤器)的。这是一个Django项目，我使用的数据库是Postgresql。我目前正在开发一个通用的条形图系列，它最终将允许用户选择他们希望在条形图格式中相互绘制的字段(从提供的数据集中)。我的数据库由1000万个条目组成，每个条目有54个字段(单个表)。在Python中处理数据(修改列键名称以匹配通用条形图的名称)，并将数据转换为json格式以供图形使用，这又需要几分钟，这对于我想要的应用程序来说是不可接

浏览 1提问于2015-09-28得票数 0

1回答

在后台运行查询

ms-access、vba、ms-access-2010

我有一个我正在处理的数据库。它由分裂的数据库组成，包括前端和后端表的多个链接。我正在编写一份由15份不同的分报告组成的报告。我有一个表单，允许我输入报告的开始日期和结束日期。我刚接触过VB，但我想我会尝试一下，并得到以下运行时错误"3078: MS数据库引擎找不到输入表或查询“。我检查了查询名，它匹配，所以我不知道为什么会收到这个错误。ON tbl_MPP_DailyGenerationReport.DateLog = tbl_KPP_DailyGenerationReport.DateLog

浏览 4提问于2015-11-04得票数 0

回答已采纳

5回答

如何从MS Project .mpp文件中提取数据？

c#、vb.net、perl、vb6、project-management

我需要从网络上的一个.mpp文件中提取数据，并将其与来自几个不同数据库的其他数据组合在一起。您有什么建议可以在无需用户干预的情况下提取MS Project数据？是否有可用于MS Project的ODBC驱动程序？是否有用于打开.mpp和读取活动数据的模块(用于Perl、VB、VB.net或C#)？

浏览 8提问于2008-09-02得票数 4

回答已采纳

2回答

分布式模式下的Apache演练

apache、hive、mapr、apache-drill

我开始探索我们运行SQL on半结构化数据的需求。我已经设置了一个带动物园管理员的4节点演练集群。很少有人问它到底是怎么工作的，如果不是，通过在所有节点( n2、n3 )上复制相同的文件，n4将有助于利用help的MPP架构？

浏览 9提问于2015-03-31得票数 2

1回答

Azure数据仓库数据库存储

azure、azure-sql-database、azure-blob-storage、azure-sqldw

我是Azure数据仓库的新手，在阅读一些关于数据实际存储位置的文章时，我一点也不感到困惑。是计算节点为db表或azure blob存储数据吗？谢谢

浏览 2提问于2016-08-27得票数 0

回答已采纳

4回答

群集和MPP超级计算机体系结构有什么不同？

cluster-computing、supercomputers

群集和MPP超级计算机体系结构有什么不同？

浏览 2提问于2011-04-07得票数 24

回答已采纳

1回答

如何以编程方式从Microsoft Project Standard 2013读取信息

c#、visual-studio-2013、ms-office、ms-project

我是一名新程序员，我一直在尝试查找有关Microsoft Project Standard(或Microsoft Project Professional) API的信息，以便访问.mpp文件中的数据，相反，我只想使用c#在Visual Studio2013上读取一个常规的.mpp文件。到目前为止，我只找到了一个使用.NET互操作的示例，但我希望在没有互操作的情况下使用它。为了开始，我想做以下工作：我只是在寻找

浏览 1提问于2016-04-07得票数 1

1回答

将计算实例添加到Azure Synapse (专用池)

azure、azure-sqldw、azure-synapse、azure-sql-data-warehouse

类似于雪花方法，是否可以设置独立的 Azure Synapse计算来处理与第一个实例相同的数据？不是数据的副本，而是相同文件中的相同数据。还是我应该简单地改变实例大小，每天2次，每月1次？

浏览 1提问于2021-03-08得票数 0

1回答

MS项目导出到XML

xml、ms-project

我有一个带有单独资源库的MS文件。例如，我将User2和User4分配给任务。<Resource> <ID>1</ID>

浏览 1提问于2016-03-24得票数 0

1回答

SP在Azure DW中运行非常慢，即使在唯一列上有散列分布的表

azure-sql-database、azure-sqldw

我在AZURE DW中有一个存储过程，运行非常慢。我将所有表和sp复制到不同的服务器，在那里执行所需的时间非常少。我在唯一字段上使用散列分布创建了表，但是sp运行得非常慢。请告诉我如何提高sp在AZURE DW中的性能。

浏览 0提问于2017-01-19得票数 0

2回答

Greenplum数据库中的索引和集群

indexing、greenplum、clustered-index

我是Greenplum数据库的新手。我有个问题。在基于行的分布情况下，在Greenplum中的列上创建索引后，表上的Cluster是强制的吗？

浏览 1提问于2018-03-01得票数 0

2回答

合并排序如何在星火中工作，为什么它可以抛出OOM？

apache-spark

我理解总体思路:这是与合并排序算法相同的方法:获取2个排序数据集，比较第一行，编写最小行，重复。我还理解如何实现分布式合并排序。默认情况下，Spark使用200个分区。问题：倾斜的键。如果某些

浏览 5提问于2021-04-29得票数 6

3回答

如何实现事实和维度之间的局部连接？

greenplum

事实表通常包含由定义其粒度的所有维度的键组成的复合主键。如果我们按这个键分发表，它不可能完成对绑定到的任何维度的本地连接，因为这些表是由它们自己的PKs分发的，这将与为实际情况生成的哈希不匹配。为事实选择分发密钥的标准方法是什么？

浏览 0提问于2016-04-08得票数 1

2回答

从sql server到Azure Datawarehouse的实时数据流

azure、apache-kafka、spark-streaming、azure-data-lake、sql-data-warehouse

我正试图在Microsoft数据仓库之上构建一个实时报告服务。目前，我有一个拥有大约5TB数据的SQL服务器。我想将数据流到数据仓库，并使用Azure DW的计算能力生成基于数据的实时报告。我正在考虑的一种方法是将数据加载到Kafka中，然后通过Spark流将其流到Azure DW中。然而，这种方法比实时方法更接近实时.是否有任何方法利用Server更改数据捕获来将数据流到数据仓库中？

浏览 6提问于2017-10-23得票数 2

回答已采纳

1回答