展开

关键词

Snova运维篇(十):gp操作-2

本节继续前篇操作的内容进一步学习相关运维工作。 图片.png 目录: 定义对象 管理 ---- 基本概念: 视图 在 SQL 中,视图是基于 SQL 语句的结果集的可视化的表。 视图中的字段就是来自一个或多个中的真实的表中的字段。我们可以向视图添加 SQL 函、WHERE 以及 JOIN 语句,我们也可以提交,就像这些来自于某个单一的表。 ---- 1.定义对象: (一)对大型表分区 Greenplum支持: 范围分区:基于一个字型范围划分,例如按照日期或价格划分。 RENAME TO old_table; CREATE INDEX myixcolumn_ix ON old_table; VACUUM ANALYZE old_table; 索引类型 Greenplum支持 ,删除所有索引、载入然后重建索引会更快。

42330

Snova运维篇(三):GP备份和恢复

本节主要从gp备份和恢复角度深入学习gp。定期执行备份能确保在损坏或者系统失效发生时能恢复或者重建Greenplum系统。 用户还可以使用备份从一个Greenplum系统迁移到另一个。 全量备份 gpcrondump工具 Master的备份文件包含用于创建模式的SQL命令。Segment的转储文件包含将装载到表中的SQL语句。 /gpdb/backups/archive/20120714 -e dbname -e 忽略已经被创建的 不同系统配置的恢复 确保已经有完整的备份 包括Master的转储文件(gp_dump 、触发器、主键约束等对象 $ psql database_name -f /gpdb/backups/gp_dump_0_5_20160714_post_data 更新序列 gunzip -

98110
  • 广告
    关闭

    什么是世界上最好的编程语言?丨云托管征文活动

    代金券、腾讯视频VIP、QQ音乐VIP、QB、公仔等奖励等你来拿!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Snova运维篇(八):GP访问管理及认证

    ---- 1.配置客户端认证 (一)配置概览 Master实例的pg_hba.conf文件控制对Greenplum系统的客户端访问及认证。 必须通过设置ssl配置参在服务器启动时启用SSL hostnossl 匹配在不使用SSL的TCP/IP上建立的连接尝试。 database 指定这一记录匹配的名。值all指定它匹配所有。 可以提供多个名,用逗号分隔它们。在文件名前面放一个@,可以指定一个含有名的单独的文件。 role 指定这一记录匹配的角色名。值all指定它匹配所有角色。 限制并发连接 Greenplum以每个连接为基础分配资源。 Greenplum版本 Kerberos服务器和Greenplum的Master主机上的系统时间必须同步(在两种服务器上安装Linux的ntp包) Kerberos服务器和Greenplum

    42150

    Snova运维篇(九):gp的基本操作-1

    本节主要从操作和管理的角度学习gp。 图片.png 目录: 定义对象 管理 装载和卸载 ---- 基本概念: 表空间 一个表空间是一个存储位置,其中底层的基础的对象可以保留。 它在物理和逻辑之间提供了一个抽象层并用于所有DBMS管理的段分配储存。 创建后,可以在创建段时按名称引用表空间。表空间仅指定的储存位置,不指定结构或架构。 cascade 删除操作时,自动删除依赖对象 ---- 1.定义对象 (一)创建和管理 模版 不要在template1中创建任何对象,除非用户想要在每一个用户创建的中都有那些对象 用户可以使用template0来创建一个只包含Greenplum在初始化时预定义的标准对象且完全干净的 创建一个 => CREATE DATABASE new_dbname; 客户端创建

    78210

    MySQL用户入门Greenplum

    说明 本文描述问题及解决方法同样适用于 腾讯云Snova云仓。 背景 Greenplum(以下简称GP)是基于PostgreSQL的MPP。 基本概念 (Database)和模式(Schema) MySQL : MySQL中模式是的别名,这二者没什么区别,创建一个模式就是创建一个GP : 在GP中模式属于内的一个概念,用于在中组织对象,起到类似于命名空间的作用,这样用户可以在一个下创建多个模式,这些不同的模式可以有不同的访问权限,并且不同模式下的表名是可以重复 说明:如果要进行类比的话,GP中的模式更像MySQL中的,在MySQL中用户可以访问同一个实例中的不同,但是在GP中一个连接只能访问一个,但是可以同时访问多个模式,比如join多个模式中的表 基本操作 操作 MySQL GP 切换 USE {dbname} \c {dbname} 查看所有 SHOW DATABASE \l 切换Schema 无 SET search_path={

    1.3K102

    Snova运维篇(二):GP集群配置和高可用特性

    -- 1.配置greenplum Greenplum的配置文件postgresql.conf位于实例的目录之下。 gpstop -r 不需要重启的参: gpstop -u 在级别设置参 每一个连接到该的会话都使用该参设置。 级别的设置覆盖系统级别的设置。 角色级别的设置覆盖级别的设置。 ftsprobe会监控Greenplum阵列,它连接并且扫描所有的Segment,并且会按照配置的间隔进行这种处理。 图片.png gprecoverseg恢复工具。

    62730

    chapter 3

    本节提供了Greenplum的一个高层次的系统要求和功能概述。 重要的是要注意-没有商业系统,是完全符合SQL标准。 Greenplum是几乎完全符合SQL1992标准,大部分SQL1999功能。 Core SQL Conformance  在建立并行,无共享系统和查询优化器的过程中,一些常见的SQL结构目前尚未在Greenplum上实现。下面的SQL不支持: 1. 触发器不支持由于他们可以使用VOLATILE函 11. Gp不强制外键,用户可以定义外键,他们会保持在系统表中 12. 序列操作函CURRVAL 和LASTVAL 13. ROW 类型 5. gp的序列语法是非标准的,比如gp中使用nextval(‘seq’)替代标准的NEXT VALUE FOR SEQ 6.

    19120

    GreenPlum4+版本安装部署

    节点之间不需要做免密。 7月 18 19:46 gpdatap2 [gpdata2] drwxrwxr-x 2 gpadmin gpadmin 4096 7月 18 19:46 gpmaster => exit 四.初始化 若初始化失败,需要删除/home/gpadmin/gpdata下的资源目录重新初始化; 五、创建 初始化完成后,我们可以创建,并创建用户进行登录使用了。 1)新建 createdb -h localhost -p 5432 mygpdata 2)登录到mygpdata中创建新用户,并给该用户赋权 psql mygpdata --登录 CREATE :远程host,本地local 参2:名称 参3:用户名 参4:授权IP地址 参5:加密方式 4)重启 Gpstop(停止) -M fast(后面参强制停止) gpstart(启动

    26810

    Snova运维篇(七):GP迁移和监控

    本节主要从迁移和GP集群监控的角度进一步深入snova运维业务工作。 ---- 1.gptransfer迁移 基本流程 在源中创建一个可写外部表 在目标中创建一个可读外部表 创建命名管道以及源集群中Segment主机上的gpfdist进程 在源中执行一个 SELECT INTO语句把源插入到可写外部表 在目标中执行一个SELECT INTO语句把从可读外部表插入到目标表 通过比较源和目标中行的行或者MD5哈希来有选择地验证 清除外部表 后备Master不同步情况 Master主机人为关闭或者其他软件问题(在特定失效场景中,Greenplum无法发送告警或者通知) 配置snmp监控: [root@gp-master ~]# yum | /dev/vda1 | 44602148 1 | gp-node2 | /dev/vda1 | 44558804 (2 rows) 检查磁盘空间 komablog

    59570

    EDI项目的AS2连接测试

    GP与供应商传输的是X12标准报文,业务类型包括856(发货通知)、940(仓装运订单)、944(仓存转移收)、945(仓装运通知)、846(存查询/建议)、214(运输承运人装运状态)。 AS2电子交换标准提供安全的多用途互联网邮件扩展,并使用HTTP或更安全的HTTPS在互联网上实现实时传输。其中加密和字签名可以确保信息传递的安全性、完整性和隐私性。 通过简单的界面配置,用户就可以使用AS2 Connector和交易伙伴建立AS2连接,实现安全可靠的传输。 由于HTTP报错信息难以直接定位原因,尝试使用抓包工具RawCap抓取IP包来分析原因。 首先,在本地安装好RawCap,可选取以下三种方式来抓取包: 1. p1.png 如上图所示,查看包信息得到:“Service Not Found.

    35440

    Snova运维篇(一):基础维护工具和命令

    图片.png 目录: 启停 访问 ---- 基本概念: JDBC Java连接,(Java Database Connectivity,简称JDBC)是Java语言中用来规范客户端程序如何来访问的应用程序接口 ODBC ODBC(Open Database Connectivity,开放互连)提供了一种标准的API(应用程序编程接口)方法来访问管理系统(DBMS)。 启动Greenplum gpstart工具来启动一个已经由gpinitsystem工具初始化好但已经被gpstop工具停止的Greenplum系统 [gpadmin@gp-master ~] 用户名 支持的客户端应用 命令行接口 psql 标准应用程序接口 JDBC+ODBC 使用ODBC和JDBC等标准接口的客户端工具 gp自带客户端应用 图片.png psql连接 连接池是一种连接的缓存,在大量连接情况下, 一般会在和应用程序之间配置 pgbouncer,pgbouncer 可以配置在主机上,也可以配置在 单独一台服务器上。

    28220

    DataX使用记录

    导入介绍 Greenplum(以下简称GP)支持多种导入方法,比如GP自带的gpfdist,通过gpfdist+外部表的形式将远端服务器上的并行导入到GP中,再比如GP自带的COPY命令,能够将本地的按照一定格式导入到 准备 Mysql创建表 在mysql的db1中创建test1表。 2.1 username与password分别表示连接是的用户名和密码。 条件过滤 结构过滤 通常情况下,源端源的表结构与目标源的表结构,如例子中的mysql与GP迁移前后的表列与类型完全一致,但是在某些情况下,迁移前后的结构是不一致的,通常表现后目标中的表中只保留源端表中的某几列 过滤 例子中的配置,在每次作业时,会将源端表中的全量导入到目标表中,DataX支持对reader进行where条件配置,对源端表的进行过滤,例如: "reader": {

    7K82

    Greenplum 5.16.0初探

    Greenplum是一款MPP型,对于集市而言比较合适。  个人觉得GP目前比较尴尬。性能比Presto稍差点,唯品会已经把GP改用Presto替换看了。 另外仓/集市方面还有性能强悍的HAWQ ,支持更大规模Hadoop。 MPP扩展时,一般情况下是计算节点和节点一起增加的,在增加节点后,需要对做重分布才能保证与节点的紧耦合(重新hash),进而保证系统的性能;Hadoop在增加存储层节点后,虽然也需要 因此,作为一个非大的DBA,我这里只是对GP的大致了解下,没有过多深入。 GP的结构 ? ? ? GP的安装部署 CentOS下建议使用XFS文件系统。 greenplum-db 下面,开始创建目录: su - gpadmin MASTER、Standby目录: mkdir /home/gpadmin/gpdata/gpmaster -pv

    56420

    Greenplum导入系列 -- (一)DataX

    导入介绍 Greenplum(以下简称GP)支持多种导入方法,比如GP自带的gpfdist,通过gpfdist+外部表的形式将远端服务器上的并行导入到GP中,再比如GP自带的COPY命令,能够将本地的按照一定格式导入到 Mysql创建表 在mysql的db1中创建test1表。 条件过滤 结构过滤 通常情况下,源端源的表结构与目标源的表结构,如例子中的mysql与GP迁移前后的表列与类型完全一致,但是在某些情况下,迁移前后的结构是不一致的,通常表现后目标中的表中只保留源端表中的某几列 过滤 例子中的配置,在每次作业时,会将源端表中的全量导入到目标表中,DataX支持对reader进行where条件配置,对源端表的进行过滤,例如: "reader": { GP的方法,但是将导入到GP时,所有需要经过master根分布键计算后再次进行分发,master的会成为导入过程中的性能瓶颈,后续会介绍其他不经过master的更高性能的导入方法。

    4.9K155

    greenplum常用的gp_toolkit监控语句

    日志查询相关的信息 5、资源队列相关查询信息 6、查看磁盘上(database,schema,table,indexs,view)等的占用大小的相关信息 7、用户使用的工作空间大小信息 8、查看用户创建的信息( ,schema,表,索引,函,视图)等信息 9、系统中维护的ID信息 10、系统查用的查询信息 11、系统中常用查询的函 gp_toolkit 说明 Greenplum提供了一个名为gp_tooikit select * from gp_toolkit.gp_size_of_database; -- 该视图显示当前中schema在中的大小 select * from gp_toolkit.gp_size_of_schema_disk select * from gp_toolkit.gp_workfile_usage_per_segment; 8、查看用户创建的信息(,schema,表,索引,函,视图)等信息 -- gp __gp_user_data_tables"; -- GP用户表可读 select * from gp_toolkit."

    1.9K61

    自建Greenplum迁移到Snova云

    Snova简介 Snova是腾讯云上的一款仓产品,兼容Greenplum 开源,是一种基于 MPP(大规模并行处理)架构的仓服务。 Snova相对自建GP的优势 快速搭建,只需控制台点击购买即可,无需关心GP搭建的过程,以及参优化的细节。 免运维,您无需关心因机器故障等导致的复杂运维工作,只需要关注核心业务,让产生价值。 所以需要在中提前创建好对应的role。 Schema 首先需要手动在Snova创建目标,语句如下: CREATE DATABASE {databasename} 然后导出原Schema,建议使用pg_dump工具,逐个迁移, 语句如下: pg_dump --gp-syntax --schema-only -h {host} -p {port} -U {username} -f {filename} 最后在Snova执行

    7.4K158

    Snova基础篇(三):Greenplum集群初始化问题及调试

    查看日志 常见日志有两种: gpinitsystem 和 日志 gpinitsystem 的日志文件。 Dec 19 16:51 gpstart_20191219.log -rw-rw-r-- 1 gpadmin gpadmin 5370 Dec 19 17:29 gpstop_20191219.log 的日志文件 00:00 gpdb-2019-12-20_000000.csv -rw------- 1 gpadmin gpadmin 2444 Dec 19 16:42 startup.log 初始化master失败 [DATADIR] //指定字符集 目录 编码 最大连接 共享内存 $ initdb ​-​E UNICODE ​-​D ​/​data​/​master​/​gpseg​-​1​​ - master ​-​b ​1​​-​C ​-​1​​-​z ​0​​ -m 启动segment出错:使用工具pg_ctl 通过手动启动segment来定位错误 pg_ctl用于初始化PostgreSQL集群

    81620

    SAS-一个小程序获取某网ATC编码~

    在临床试验中,我们经常会对合并用药进行编码,通过编码对药物归类,出频表等,编码的字典和查询的方式很多,最近呀,小编想获取某智网站ATC编码,但是呀,小编技术不够,所以就获取了某工网站的ATC编码相关的 原理就是将这些,写入到SAS集中,在查看需要提取的字符串出现的规律是怎么样的,然后基于规律写程序就可以了~这个主要就是看是否能发现的规律~不细说了,下面来上代码! /*****************************SAS 爬取 化工ATC*******************************/ *1获取首页网站ATC编码; options ,看网页的代码,其实很容易发现大层级跳转到子层级的规律,这个时候就可以基于规律生成一个URL,然后在通过循环一层一层的获取... *2基于第一步获取的ATC首页信息以及内容后 进行逐条循环获取各类下的 ,基于在进过merge等操作的整合,便能生成一个线下的编码词典

    69030

    Greenplum迁移小记

    所以对于GP集群迁移方案,难点在于服务节点多,存在全局性依赖,如果迁移完成后存在网络问题或者系统问题会导致集群全部失效,无法启动;而且集群环境涉及集市和ETL服务器,需要区别对待,制定合理的迁移方案 首先的难点不是迁移,而是技术储备,GP技术方向相对来说小众,没有MySQL的风风火火,也没有大方向纯粹的分布式方案(GP是MPP分布式方案),抛开这些,会的人少,愿意学的人也少。 ,PG的元有一个MySQL在存放,还有一个web应用opencron在运行,还有一个Django自建项目在运行,整个的过程会比开始的时候规划的要复杂很多,比如相关的opencron的agent都需要重启和配置 8.的备份 这部分的备份,只能取到最小的结果集,对于GP集群而言,最起码的DDL配置是要备份的,对于PG而言,属于集市,结果集不大,所以可以考虑同步到其他的集群或者节点上。 整个迁移的过程和迁移后的一些小结: 1.对于停止GP集群,我们采用了如下的方式: 停止GP集群 重启GP集群 停止GP集群 这样确保集群没有任何明显的问题,迁移后是一个相对纯粹的环境

    63041

    snova运维篇(四):GP集群扩容

    本节主要从集群扩容的角度,进一步了解gp集群的日常运维工作。 准备增加新节点 初始化新的segment 重分布表 ---- 基本概念: 图片.png ---- 1.集群扩容的一般性原则 弹性伸缩容量和性能 扩容期间服务不中断 扩容前后事务的一致性 容错机制不受干扰 复制和灾备恢复不受影响 bisection bandwidth test gp-node1 -> gp-node2 = 18.870000 gp-node2 -> gp-node1 = 69.070000 Summary: /gp10:14:10:m:63011 运行gpexpand初始化新的segment $ gpexpand -i input_file -D database1 // -i 输入文件 -D 指定哪个创建扩展 扩展命令运行完毕后,系统会被重启 回滚一个失败的扩展 gpstart -m //进入master-only模式 重启 gpexpand --rollback -D database_name

    60030

    相关产品

    • 云数据库 Redis

      云数据库 Redis

      云数据库 Redis,数据库缓存,数据库存储,云数据库 云数据库 Redis(TencentDB for Redis)是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。 云数据库Redis是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。

    相关资讯

    热门标签

    扫码关注云+社区

    领取腾讯云代金券