首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Greenplum 实时数据仓库实践(9)——Greenplum监控与运维

9.3 性能优化 Greenplum为查询动态分配资源,数据所在的位置、查询所使用的段数量、集群的总体健康状况等因素都会影响查询性能。...Greenplum数据库会动态消除不相关的分区,并且为执行计划中不同的算子优化内存分配。这些增强使得查询扫描更少的数据,内存得到更优化的分配,加快查询,提升并发支持能力。 1....动态分区消除 Greenplum 有静态与动态两种分区消除。静态消除发生在编译期间,在执行计划生成的时候,已经知道哪些分区会被使用。...而动态消除发生在运行时,也就是说在运行的时候才会知道哪些分区会被用到。例如,WHERE字句里面包含一个函数或者子查询用于返回分区键的值。查询过滤条件的值可用于动态分区消除时,查询处理速度将得到提升。...如果Greenplum没有足够的内存来执行查询,它会在磁盘上创建工作文件。此信息可用于故障排除和优化查询。

3.9K32
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Greenplum使用TPC-H测试过程及结果

    ) §4.3.1 下载创建于查询SQL §4.3.2 查看创建的表 §4.3.2 加载测试数据 §4.3.2.1 转化测试数据的格式 §4.3.2.2 删除tbl文件 §4.3.2.3 加载数据脚本 §...TPC-H 基准测试是由 TPC-D(由 TPC 组织于 1994 年指定的标准,用于决策支持系统方面的测试基准)发展而来的.TPC-H 用 3NF 实现了一个数据仓库,共包含 8 个基本关系,其数据量可以设定从...SQL 下载创建于查询SQL: tpc-h测试SQL.zip 4.3.2 查看创建的表 4.3.2 加载测试数据 4.3.2.1 转化测试数据的格式 # for i in `ls *.tbl`;...COPY tpc_h_test.region FROM '/greenplum/****/region.csv' WITH csv DELIMITER '|'"; time psql -d stagging...FROM '/greenplum/****/supplier.csv' WITH csv DELIMITER '|'"; time psql -d stagging -h 192.****.11 -p

    5.2K60

    Greenplum数据库巡检脚本

    对于Oracle的SQL脚本而言,脚本DB_Oracle_HC_lhr_v7.0.0_10g.sql适用于Oracle 10g数据库,脚本DB_Oracle_HC_lhr_v7.0.0_11g.sql适用于...Oracle 11g的数据库,脚本DB_Oracle_HC_lhr_v7.0.0_12c.sql适用于Oracle 12c及其以上版本,这3个脚本都是只读版本,这3个脚本只会对数据库做查询操作,不会做DML...脚本DB_GP_HC_lhr_v7.0.0.sql是Greenplum数据库脚本,执行后会产生Greenplum数据库的健康检查html报告。...14、Oracle数据库对巡检结果进行过滤,列出了数据库有问题的内容 15、对OS的信息提供了收集(单独脚本) 3、Greenplum数据库运行方式 和PostgreSQL数据库相似,需要有psql客户端...注意: 1、该脚本的字符集为utf8,请使用utf8格式打开该文件。

    95710

    Greenplum基于角色的细粒度权限控制

    说明 本文描述问题及解决方法同样适用于 腾讯云 云数据仓库 PostgreSQL(CDWPG)。 背景 Greenplum使用角色(role)管理数据库访问权限。...在greenplum中新建的用户默认是无法直接连接到数据库的,因此,想要使用greenplum,了解权限管理必不可少。...一、Greenplum的角色 Greenplum是通过roles来管理数据的访问控制,它包含2个概念:Users 和 Groups,一个role可以是一个数据库的user或group,也可以是两者兼备。...如果提供的password字符串已经是哈希过的格式,就会原样存储,而不管指定的是ENCRYPTED还是UNENCRYPTED。 有关保护登录口令的额外信息请见在Greenplum数据库中保护口令。...,USAGE权限必不可少,否则无法查看到任何表,也无法查询表中的数据。

    1.9K2716

    小麦苗人大金仓数据库巡检脚本

    对于Oracle的SQL脚本而言,脚本DB_Oracle_HC_lhr_v7.0.0_10g.sql适用于Oracle 10g数据库,脚本DB_Oracle_HC_lhr_v7.0.0_11g.sql适用于...Oracle 11g的数据库,脚本DB_Oracle_HC_lhr_v7.0.0_12c.sql适用于Oracle 12c及其以上版本,这3个脚本都是只读版本,这3个脚本只会对数据库做查询操作,不会做DML...脚本DB_GP_HC_lhr_v7.0.0.sql是Greenplum数据库脚本,执行后会产生Greenplum数据库的健康检查html报告。...14、Oracle数据库对巡检结果进行过滤,列出了数据库有问题的内容 15、对OS的信息提供了收集(单独脚本) 3、人大金仓数据库运行方式 和PostgreSQL数据库相似,需要有psql客户端或者有人大金仓的...注意: 1、该脚本的字符集为utf8,请使用utf8格式打开该文件。

    1.1K20

    Greenplum Stream Server(GPSS)介绍

    GPSS服务器的一个实例从一个或多个客户机接收流数据,使用Greenplum数据库可读的外部表将数据转换并插入到目标Greenplum表中。数据源和数据格式是特定于客户机的。...Greenplum Stream Server还包括gpsscli命令行工具,这是一个客户端工具,用于向GPSS实例提交数据加载作业并管理这些作业。...GPSS gRPC服务定义的内容包括:连接到Greenplum数据库和检查Greenplum元数据所需的操作和消息格式;数据从客户端写入greenplum数据库表所需的操作和消息格式。...注:有关gRPC内容参考:https://grpc.io/docs/ gpsscli命令行工具是Greenplum Stream Server的gRPC客户端工具,也可以用于操作Greenplum-Kafka...step 2.利用psql登录到需要注册gpss的数据库 gpmaster$ psql -d testdb 输入以下命令注册EXTENSION testdb=# CREATE EXTENSION gpss

    52220

    GreenPlum数据库日常维护

    要保持一个Greenplum数据库系统高效运行,必须对数据库定期清理过期数据并且更新表统计信息, 这样查询优化器才能有准确的信息。 Greenplum数据库要求定期执行特定的任务来达到最优性能。...当Segment文件被拷贝完时,将会安排删除原始的Segment文件并且让新 的Segment文件变得可用。这要求足够的可用磁盘空间用于拷贝可见行,直到原始的Segment文件被删除为止。...gp_toolkit.gp_bloat_diag视图中的信息显示pg_attribute的状态为significant amount of bloat 为查询优化进行清理和分析 Greenplum数据库使用一种基于代价的查询优化器...-f:显示standby master 的详细信息 -Q:显示状态综合信息 该命令默认列出数据库运行状态汇总信息,常用于日常巡检。...登陆与退出Greenplum 1#正常登陆 2 3psql gpdb 4 5psql -d gpdb -h gphostm -p 5432 -U gpadmin 6 7 8#使用utility

    2.5K40

    偶数科技OushuDB数据库巡检脚本

    对于Oracle的SQL脚本而言,脚本DB_Oracle_HC_lhr_v7.0.0_10g.sql适用于Oracle 10g数据库,脚本DB_Oracle_HC_lhr_v7.0.0_11g.sql适用于...Oracle 11g的数据库,脚本DB_Oracle_HC_lhr_v7.0.0_12c.sql适用于Oracle 12c及其以上版本,这3个脚本都是只读版本,这3个脚本只会对数据库做查询操作,不会做DML...脚本DB_GP_HC_lhr_v7.0.0.sql是Greenplum数据库脚本,执行后会产生Greenplum数据库的健康检查html报告。...14、Oracle数据库对巡检结果进行过滤,列出了数据库有问题的内容 15、对OS的信息提供了收集(单独脚本) 3、OushuDB数据库运行方式 需要有psql客户端,运行方式如下: psql -U...注意: 1、该脚本的字符集为utf8,请使用utf8格式打开该文件。

    1.1K40

    Greenplum数据库使用总结--目录部分

    - 14 - 4.2 PSQL命令实例- 15 - 4.2.1 PSQL客户端的安装- 15 - 4.2.1.1 在线安装客户端- 15 - 4.2.1.2 导入密码- 15 - 4.2.2 PSQL命令的使用...JSON集合的子元素- 57 - 6.4 JSON 创建函数的使用- 58 - 6.4.1 创建int类型的JSON格式数据- 58 - 6.4.2 把行的数据转化为JSON类型的数据- 58 - 6.5...数据的KEY值- 61 - 6.6.2 获取JSON结构中的数据- 62 - 6.6.3 按照条件查询数据- 62 - 6.6.4 集合函数查询JSON数据- 64 - 6.6.5 使用默认的函数查找数据...查看原始数据- 66 - 6.6.6.2 把查询的数据转化为JSON- 67 - 7 Greenplum PGBENCH命令详解- 69 - 7.1 PGBENCH概念详解- 69 - 7.2 PGBENCH...- 80 - 9.1 常用查询语句- 80 - 9.1.1 查看表的数据分布情况- 80 - 9.1.2 查看默认的错误数据- 81 - 9.1.3 查看表的大小- 81 - 9.1.4 查看数据库的占用大小

    1.4K10

    GreenPlum管理数据库

    因为MVCC不会为并发控制使用显式锁,锁竞争被最小化并且Greenplum数据库在多用户环境中维持了合理的性能。为查询(读取)数据获得的锁不与为写数据获得的锁冲突。...使用读已提交和读未提交事务隔离,SELECT、UPDATE和DELETE事务在一个查询开始时取得的数据库快照上操作。 一个SELECT查询: 看得见该查询开始前被提交的数据。...一个SELECT查询: 看得到一个事务开始时(不是该事务中当前查询开始时)的数据快照。 只看得到在查询开始前被提交的数据。 看得到该事务内执行的更新。 看不到该事务外部的未提交数据。...GP在Master和所有Segment实例上开启了日志文件按天滚动 服务器日志文件存放在每个实例数据目录的 pg_log 目录下,格式:gpdb-YYYY-MM-DD_TIME.csv 控制写到服务器日志里的信息的详细程度...~/gpAdminLogs目录下 命令方式:_.log 日志记录的格式: ::::[INFO|WARN

    34630

    Greenplum 操作锦囊

    背景在大数据领域,Greenplum 是一个广泛使用的开源数据仓库工具,特别受到数据分析师、数据科学家和企业的青睐,因为它能够提供高效、高性能的数据分析功能。...然而,掌握 Greenplum 的操作技巧并非易事,为了让用户更快速地掌握这些技巧,本文将为您提供 Greenplum 操作的锦囊妙计。...希望通过本文,您能够快速熟悉 Greenplum,提升工作效率和数据分析能力。查询类1....查看表的存储格式select relstorage from pg_class where relname = '{table_name}'; a -- 行存储AO表 h -- heap堆表...修改pg_hba.conf配置客户端认证,只需要修改master上的pg_hba.conf,注意其中的地址使用的是CIDR格式,也就是如果指定某一个ip需要写成.../32,然后gpstop -u注意:

    1.4K133
    领券