之前学到的筛选操作都是基于整个表去进行的，那如果想要依据某列中的不同类别（比如说不同品牌/不同性别等等）进行分类统计时，就要用到数据分组，在SQL中数据分组是使用GROUP BY子句建立的。
在接触操作系统时，我们常常习惯通过 uptime 来看看系统的启动运行时间，例如：
原文：http://www.enmotech.com/web/detail/1/686/1.html （复制链接，打开浏览器即可查看）
一个优秀的 SQL 开发人员是能够以他们喜欢的任何方式操作数据的——其中很大一部分是能够操作日期。因为日期非常重要，比如企业喜欢比较和评估不同时间段的业务绩效，统计一个时段的指标，这些都离不开日期函数，能够操纵日期对于顶级业务运营和业务报告至关重要。
由于项目上的需要，把项目实现国产化，把底层的MySQL数据库替换为国产的达梦数据库，花了一周的时间研究了国产的数据库-达梦数据库，它和MySQL有一定的区别，SQL的写法也有一些区别。
PostgreSQL数据库中有许多内部函数，这次对系统表pg_proc以及函数代码进行分析记录（这里是针对9.3进行介绍的）。 一、数据库系统表pg_proc 数据库中所有内部函数信息都存储在系统表pg_proc. 内部函数都是在编译之前写好并存储在pg_proc.h文件中。 下面来看一下pg_proc的表结构，首先是看源码中的结构体： CATALOG(pg_proc,1255) BKI_BOOTSTRAP BKI_ROWTYPE_OID(81
上述例子中，存储在表中的数据都不是应用程序所需要的。我们需要直接从数据库中检索出转换、计算或格式化过的数据，而不是检索出数据，然后再在客户端应用程序中重新格式化。
既然是入门肯定会有很多深入的知识我不是很懂，不过没关系，以后如果有机会接触的话，在慢慢在工作中学呗。
达梦数据库管理系统是达梦公司推出的具有完全自主知识产权的高性能数据库管理系统，简称DM，它具有如下特点：
需求【计算当前日期和指定日期之间的时间差】PGSQL 不是MYSQL 1. pgsql 如何获取当前日期 now() 通过now()获取的时间是最完整的时间，包括时区，秒也保留到了6位小数。 select now(); ---------------------------- now | ---------------------------- 2020-04-03 10:33:07.540098+08 current_timestamp效果是和now()一样
偶然发现一个python实现的按照农历/阴历推送消息提醒的程序，钉钉群消息推送。此处总结并对其可推送的消息做。
实际存储在磁盘上的是projection。 当创建一张表，没有创建projection时，那么插入数据的时候会自动创建一个默认的projection。如果运行中发现projection不合适，可以运行dbd进行优化，得出一些建议，参考来重建projection。
在上篇Vertica 分区表设计中，已经提过了Vertica的分区表创建和分区删除，但举例上并不系统， 本篇文章将系统的对分区表设计及后续的删除分区进行讲解。
在工作中使用Greenplum外表时发现date类型中有null或空值,外表不识别类型，问题解答思路，先使用varchar类型把外表的数据加载到Greenplum,在使用数据类型转化转化为date即可。
greenplum Schema 是 Database中逻辑组织object和data。 在同一Database中，不同schema的对象可以使用相同的名称。
上一篇详细讲解了如何用Canal和Kafka，将MySQL数据实时全量同步到Greenplum。对照本专题第一篇中图1-1的数据仓库架构，我们已经实现了ETL的实时抽取过程，将数据同步到RDS中。本篇继续介绍如何实现后面的数据装载过程。实现实时数据装载的总体步骤可归纳为：
CURRENT_DATE函数返回当前日期，CURRENT_TIME函数返回当前时间。语法如下：
通过TPC-H基准测试，可获得数据库单位时间内的性能处理能力，为评估数据库系统的现有性能服务水平提供有效依据。
此脚本在运行时会先把oracle数据按照指定的分隔符下载到磁盘的目录下,再用替换脚本替换需要的分隔符和ascii字符,具体的替换方法请查看fileAsciiReplaceScriptAll.sh脚本
最近有位同学面试了几家，分享了一些觉得有些难度的SQL面试题：比如会让你用SQL实现行转列和列转行操作、用SQL计算留存、用SQL计算中位数、还有如何统计用户最大连续登录天数？
Greenplum是一个分布式大规模并行处理数据库，在大多数情况下适合做大数据的存储引擎、计算引擎和分析引擎，尤其适合构建数据仓库。本篇重点介绍Greenplum的系统架构和主要功能。我们先从历史演进和所采用的MPP框架对Greenplum做一个概要说明，然后描述其顶层架构，之后详细介绍存储模式、事务支持、并行查询与数据装载、容错与故障转移、数据库统计、过程化语言扩展等方面的功能特性，正是它们支撑Greenplum成为一款理想的分析型数据库产品。本篇最后简单对比Greenplum与另一个流行的大数据处理框架Hadoop，进而阐述可以选择前者的理由。
数据迁移的目的是为了给数据找一个更合适的归宿，让其满足当前及未来某段时间内业务场景的使用需求，使数据更安全，更可靠，更有效的为客户服务。
PARTITION BY (date_part('doy', t_jingyu.col3));
Greenplum（以下简称GP）支持多种数据导入方法，比如GP自带的gpfdist，通过gpfdist+外部表的形式将远端服务器上的数据并行导入到GP中，再比如GP自带的COPY命令，能够将本地的数据按照一定格式导入到GP中。除此之外，还有一些比较优秀的第三方导入工具，本文主要介绍DataX。
1、Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。下载图形化界面的zip包格式的，直接解压缩使用即可。安装部署模式这里不说了，自己可以根据自己的需求安装为单机模式或者集群模式。 Kettle的社区官网：https://community.hitachivantara.com/docs/DOC-1009855 Kettle的下载地址：https://sourceforge.net/projects/pentaho/files/Data%20Integration/ kettle国内镜像下载：http://mirror.bit.edu.cn/pentaho/Data%20Integration/ 2、由于这里只是演示了如何配置通过时间戳和批次号增量的导入数据，所以具体的操作不再叙述，具体的使用自己可以根据需求来使用。
作者介绍：黄辉，16年毕业于电子科技大学并加入腾讯。目前在腾讯云存储产品团队从事云数据库开发工作，喜欢研究分布式数据库相关技术（如：分布式事务，高可用性等）。 之前对 GreenPlum 与 Mysql 进行了 TPC-H 类的对比测试，发现同等资源配比条件下，GreenPlum 的性能远好于 Mysql ，有部分原因是得益于 GreenPlum 本身采用了更高效的算法，比如说做多表 join 时，采用的是 hash join 方式。如果采用同样高效的算法，两者的性能又如何？由于 GreenPlum 是由
在将 Impala 工作负载从 CDH 平台迁移到 CDP 之前，您必须了解 CDH 和 CDP Impala 之间的语义和行为差异以及需要在数据迁移之前执行的活动。
如果说Hive是离线数仓的代表，那么Greenplum就是MPP数据库的代表。在离线数仓的年代，以Hive为核心的数据仓库席卷数据仓库市场，几乎成为了离线数仓的代名词。但是Hive的查询能力非常弱，通常需要其它计算引擎辅助才能完成OLAP查询。
参考：https://www.xmmup.com/zaidockerzhongkuaisutiyangreenplum-7-0-0.html
想要一个数据库长久健康的运行，离不开完备的运维工作，切忌只运而不维。针对Greenplum分布式数据库，集群由大量服务器组成，对运维人员或DBA，不仅要关注数据库本身，还要注意集群中各硬件的状况，及时发现并处理问题。本篇介绍权限与角色管理、数据导入导出、性能优化、例行监控、例行维护、推荐的监控与维护任务六方面常规工作内容，目标是满足Greenplum系统维护、使用等方面的要求，保证提供稳定高效的数据库服务。
Pgpool II 管理一个 PostgreSQL 服务器池，以实现单个 PostgreSQL 安装无法实现的一些功能。这些功能包括：
JSON作为结构化的数据，目前越来越受到开发者的爱戴，它简单灵活易于理解。是作为储存数据的一种比较使用的一种格式，greenplum从5.0开始便很好的支持了JSON数据。
这些方案的思路都是创建一个新的分区表，然后把旧表的数据转移到新表上面，接着转移相应的依赖关系，最后进行表的重命名，把新表和旧表rename。与前三种方案相比，DBMS_REDEFINITION几乎不影响旧表的正常使用，因此也逐渐成为目前普遍使用的转换分区表的方案。
开源大数据OLAP组件，可以分为MOLAP和ROLAP两类。ROLAP中又可细分为MPP数据库和SQL引擎两类。对于SQL引擎又可以再细分为基于MPP架构的SQL引擎和基于通用计算框架的SQL引擎：
需求：搭建Vertica数据库3节点的测试环境，建立测试用户，建表，测试数据入库。
https://dev.mysql.com/doc/refman/8.0/en/datetime.html
TPC-H 基准测试是由 TPC-D(由 TPC 组织于 1994 年指定的标准,用于决策支持系统方面的测试基准)发展而来的.TPC-H 用 3NF 实现了一个数据仓库,共包含 8 个基本关系,其数据量可以设定从 1G~3T 不等。TPC-H 基准测试包括 22 个查询(Q1~Q22),其主要评价指标是各个查询的响应时间,即从提交查询到结果返回所需时间.TPC-H 基准测试的度量单位是每小时执行的查询数( QphH@size)，其中 H 表示每小时系统执行复杂查询的平均次数，size 表示数据库规模的大小,它能够反映出系统在处理查询时的能力.TPC-H 是根据真实的生产运行环境来建模的,这使得它可以评估一些其他测试所不能评估的关键性能参数.总而言之,TPC 组织颁布的TPC-H 标准满足了数据仓库领域的测试需求,并且促使各个厂商以及研究机构将该项技术推向极限。
你是否留意过数据库中有一个奇怪的函数 TBL$OR$IDX$PART$NUM ，你是否留意过很多场景下都出现过它的身影？
在大数据时代中我们迫切需要实时应用解决源源不断涌入的数据，然而建立这么一个应用需要解决多个问题：
Greenplum数据库支持并行和非并行方法来备份和还原数据库。并行操作可扩展，而与系统中段的数量无关，因为段主机各自将数据同时写入本地磁盘存储中。对于非并行备份和还原操作，必须通过网络将数据从网段发送到主服务器，主服务器将所有数据写入其存储中。除了将I/O限制在一台主机之外，非并行备份还要求主服务器具有足够的本地磁盘存储空间来存储整个数据库。
Greenplum是老牌的MPP数据仓库，查询稳定性很强，SQL支持非常全面（支持ANSI SQL 2008和SQL OLAP 2003扩展；支持ODBC和JDBC应用编程接口。完善的标准支持使得系统开发、维护和管理都大为方便。），基于PostgreSQL构建而成，主要面向结构化数据OLAP计算，Greenplum在6.0版本大大的提高了对OLTP的支持，tpcb性能提升60倍，单节点查询达到80000TPS（Transactions Per Second，数据库每秒处理事务数），插入操作达到18000TPS，更新操作约7000TPS。
爱可生 DBA 团队成员，擅长故障分析和性能优化，文章相关技术问题，欢迎大家一起讨论。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
