云数据仓库 PostgreSQL-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

云数据仓库 PostgreSQL

云数据仓库 PostgreSQL 官方专栏

专栏成员

19

文章

135835

阅读量

170

订阅数

Greenplum性能优化之路 --（三）ANALYZE

数据库 TDSQL MySQL 版云数据仓库 PostgreSQL 云数据库 postgresql 大数据

基于规则的优化器，就是优化器在优化查询计划的时候，是根据预先设置好的规则进行的，这些规则无法灵活改变。举个例子，索引优先于扫描，这是一个规则，优化器在遇到所有可以利用索引的地方，都不会选择扫描。这在多数情况下是正确的，但也不完全如此：

2020-08-25

4.3K0

EMR数据导入Snova云数仓

对象存储 emr hive

在数据仓库的建设中，通常我们使用Hive处理原始数据（PB级别），进行耗时较长的ETL工作，再将结果数据（TB级别）交由准实时的计算引擎（如Snova）对接BI工具，保证报表的准实时展现。

2020-04-25

2.3K1

Greenplum数据导入系列 -- （二）数据库实时同步

云数据库 MySQL 云数据仓库 PostgreSQL

Greenplum作为数据仓库的计算引擎，其数据来源多是业务数据，其中以MySQL为主。那如何将数据从MySQL同步到Greenplum中？如果是离线同步，比如每小时，每天，可以参考前一篇文章 Greenplum数据导入系列 -- （一）DataX，那如果需要实时同步呢，最常见的就是解析MySQL的binlog然后写入到Greenplum中，本文就描述了一种实现方法。

2020-01-14

4.4K1

Greenplum数据导入系列 -- （一）DataX

TDSQL MySQL 版云数据仓库 PostgreSQL

Greenplum（以下简称GP）支持多种数据导入方法，比如GP自带的gpfdist，通过gpfdist+外部表的形式将远端服务器上的数据并行导入到GP中，再比如GP自带的COPY命令，能够将本地的数据按照一定格式导入到GP中。除此之外，还有一些比较优秀的第三方导入工具，本文主要介绍DataX。

2019-12-18

8.8K0

基于Azkaban的任务定时调度实践

大数据处理套件 TBDS 云数据仓库 PostgreSQL

Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架。

2019-03-04

9.9K0

关注专栏作者，随时接收最新技术干货

Snova官方账号

腾讯公司

腾讯 | 高级工程师

腾讯云 | 高级工程师

腾讯 | 助理工程师

自建Greenplum迁移到Snova云数仓

对象存储开源数据库 sql

Snova是腾讯云上的一款数仓产品，兼容Greenplum 开源数据仓库，是一种基于 MPP（大规模并行处理）架构的数仓服务。

2019-02-27

9.7K1

基于云上scf的定时任务设计方法

对象存储云函数数据库 sql

腾讯云无服务器云函数（Serverless Cloud Function，SCF）是腾讯云为企业和开发者们提供的无服务器执行环境。

2019-02-26

9.9K1

DataX使用记录

数据迁移云数据库 SQL Server 数据库 sql

Greenplum（以下简称GP）支持多种数据导入方法，比如GP自带的gpfdist，通过gpfdist+外部表的形式将远端服务器上的数据并行导入到GP中，再比如GP自带的COPY命令，能够将本地的数据按照一定格式导入到GP中。除此之外，还有一些比较优秀的第三方导入工具，本文主要介绍DataX。

2019-02-25

11.4K2

Greenplum性能优化之路 --（二）存储格式

云数据仓库 PostgreSQL TDSQL MySQL 版数据库云数据库 postgresql 大数据

Greenplum（以下简称GP）有2种存储格式，Heap表和AO表（AORO表，AOCO表）。

2019-02-20

17.7K3

MySQL用户入门Greenplum

Greenplum（以下简称GP）是基于PostgreSQL的MPP数据库。在使用方式和语法上和PostgreSQL基本一致，而PostgreSQL与MySQL在使用上还是有一些差异。本文在操作层面列举了一些最基本的差异，让MySQL用户能够快速上手GP。

2019-01-29

2.8K0

Greenplum基于pgbench的性能测试

https://github.com/gregs1104/pgbench-tools

2019-01-23

3K0

Greenplum性能优化之路 --（一）分区表

TDSQL MySQL 版数据分析

分区表就是将一个大表在物理上分割成若干小表，并且整个过程对用户是透明的，也就是用户的所有操作仍然是作用在大表上，不需要关心数据实际上落在哪张小表里面。Greenplum中分区表的原理和PostgreSQL一样，都是通过表继承和约束实现的。

2018-12-18

22.5K0

Greenplum资源队列初识

在Greenplum的4.x版本之后，加入了资源队列的概念，其主要作用就是限制用户或者单个SQL对资源的消耗。避免出现消耗过多资源，影响其他用户或者SQL计算。这里的资源限制主要是指系统内存资源。

2018-12-06

4.3K5

Snova客户端工具

云数据仓库 PostgreSQL

Snova客户端工具目前包含pg_dump，pg_dumpall ，psql 3个可执行文件。

2018-11-07

1.8K0

Greenplum的HA实践

GP集群的 Primary MasterA节点部署一个备份节点，即Slava Master B节点。

2018-10-26

3.2K0

云数据仓库 PostgreSQL COS使用经验

云数据仓库 PostgreSQL

Snova云数仓支持直接分析或者导入腾讯对象存储COS里的数据，本文列举了在使用COS场景下的一些技巧和注意事项。

2018-10-26

11.3K0

Greenplum中对表批量授权

DBA在管理数据仓库的时候，往往会创建多个帐号，每个帐号有不同的用途。因此这里就有不同帐号间表授权的需求。

2018-10-03

2.8K0

ssh 数据库存储 sql

具体包括不限于以下内容：创建用户名，设置环境变量，创建数据目录，安装greenplum软件包，解压目录路径。

2018-09-25

5.1K0

Snova添加子用户及策略操作指南1

云数据仓库 PostgreSQL

在用户列表中，选择需要授权的子用户。关联snova相关读写权限。策略关联成功后，子用户即获取相关资源权限。

Snova官方账号

2018-08-15

6760

没有更多了

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态