展开

关键词

Greenplum集群修复小结

最近GP集群频繁出现了一些抖动,抖动造成的结果就是GP集群的segment节点中primary或者mirror会出现切换。 在一周的时间里出现了两次,第一次是没有明确的结果和结论,第二次的时候,是发生了部分节点的。 从最开始看到这个的时候,我的内心是崩溃的,一个很自然的想法是可能网络出现了。 ? 但是经过网络层的排查,没有发现相关的信息,所以网络层出现的概率较低。 然后排查系统层,系统层使用了多网卡的绑定,其实发生时网卡的荷载是很低的,所以这个从系统层引发的概率也较低。 面对这个,快速修复是关键,所以果断使用gprecoverseg来修复。 使用 -o选项来转储文件,得到一个需要恢复的列表。 这个看起来好像很清晰,但是对于GP集群的维护来说,还确实是需要考虑一下资源管理的。

33120

Greenplum集群修复案例

今天快下班的时候,业务的同学找到我,我猜这种情况下是有应用的了。他们反馈说在做一个GP端的函数变更时,长时间没有响应。 没过一会就看到GPCC的提示,GP集群已经不可访了。GPCC端的提示如下:?简单验证,发现确实严重了,连接已经满了。 这个可以间接的理解为,应用端触发了,gpmon监控程序处于无响应状态,gpmon持续发起新的请求,结果资源占用溢出,GP集群不可用。 但是显然的处理陷入了僵局,因为僵死的会话迟迟无法释放,所以和同事商量,我们可以快速的修复,可以考虑使用重启GP集群来强制释放僵死的会话。 gpstop -M fastgpstart至于的原因,在修复之后和业务同学沟通,很可能的原因是在一个在执行中的任务,他们手工修改了函数的定义信息,结果这个操作就卡在那里了。

31920
  • 广告
    关闭

    90+款云产品免费体验

    提供包括云服务器,云数据库在内的90+款云计算产品。打造一站式的云产品试用服务,助力开发者和企业零门槛上云。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Greenplum常见的分析与处理

    第一节 排查的方法目录 1、 不能只看表象,要去看日志,找规律,去复现 2、去哪看日志,有哪些日志 3、管理工具的日志 4、GP数据库日志 5、 CSV日志 6、遇到解决方式第二节 数据库启动停止的分析 1、gpexpand -- 集群新增segment的操作 2、gpexpand 新增segment时一些常见处理 3、gpexpand 新增segment时一些常见处理第五节 运行中几类常见分析 _gp_log_master_ext6、遇到解决方式1、找对日志2、凭经验,是否已知3、寻找规律 - 经常出现还是偶尔出现- 是否集中在某个时间段- 是否发生在固定的机器- 是否发生在固定的实例 7、启动过程卡住1、几种启动卡住的现状- 在第一步启动master时,长时间不向下走,这种情况就重点分析maste的- 启动时一直在打点,很长时间不结束,这通常是因为启动segment实例时出现了 2、参考上面gpstart失败的分析方法,分析启动不成功的实例的startup.log和csv日志3、几类常见的- 与gpstart类似的,tmp空间满子,配置文件中有错误,OS参数等- 如果一次操作恢复的实例比较多时

    57330

    Greenplum常见的分析与处理

    第一节排查的方法目录第一节 排查的方法 1目录 11、 不能只看表象,要去看日志,找规律,去复现 22、去哪看日志,有哪些日志 23、管理工具的日志 24、GP数据库日志 35、 CSV日志 36、遇到解决方式 3第二节 数据库启动停止的分析 41、gpstop 有哪些几步操作 42、too many clients alrrady 43、database is in recovery 111、gpexpand -- 集群新增segment的操作 112、gpexpand 新增segment时一些常见处理 123、gpexpand 新增segment时一些常见处理 12第五节 运行中几类常见分析 145.1 内存相关 145.1.1 out of shared memory 145.1.2 insufficient memory 145.1.3 out of memory 2、参考上面gpstart失败的分析方法,分析启动不成功的实例的startup.log和csv日志3、几类常见的- 与gpstart类似的,tmp空间满子,配置文件中有错误,OS参数等- 如果一次操作恢复的实例比较多时

    79970

    数据运营者的福音:海量数据处理利器Greenplum

    前言:近年来,互联网的快速发展积累了海量大数据,而在这些大数据的处理上,不同技术栈所具备的性能也有所不同,如何快速有效地处理这些庞大的数据仓,成为很多运营者为之苦恼的! 随着Greenplum的异军突起,以往大数据仓库所面临的很多都得到了有效解决,Greenplum也成为新一代海量数据处理典型代表。 总得来说,Greenplum帮助开发者有效解决了处理数据库时遇到的一些难点,比如跨天去重、用户自定义维度、复杂的SQL查询等,同时,也方便开发者直接在原始数据上进行实时查询,减少了数据聚合过程中的遗失 ,当然,强大的Greenplum仍存在着一些需要去完善,例如在节点扩展的过程中元数据的管理,分布式数据库在扩展节点时会带来数据一致性,扩展的过程中有时会出现元数据混乱的情况等等,好在Greenplum 有很多优秀的运维工具,能够帮我们在发生及时进行排查,更好的保障业务的稳定性。

    38150

    Greenplum快速上手

    146.2 日志输出与查看 156.3 程序调试监控工具安装 156.4 常见 151、切换环境变量 152、RH 6 Cents 6 防火墙禁掉后服务器重启后又Active 163、磁盘读写性能 、私有LAN配置3.3.3 Segment Hosts功能1、每个主机包括用户数据的一部分2、每个都有自己的CPU,磁盘和内存(Shared Nothing)3、用户无法直接访4、所有客户端链接都通过 5 Greenplum安装部署5.1 系统准备-储存1、GP仅支持XFS文件系统2、如果共享储存使用块设备储存提供给运行Greenplum数据库的服务器享,并且挂载到XFS价系统,则网络或共享储存支持 警告:在超融合(HCI)上运行Greenplum数据库存在性能,可伸缩和稳定性发蔫的已知,不建议将其作为挂件Greenplum数据库的可伸缩解决方案。 MASTER_DATA_DIRECTORYpg_log*.csv6.3 程序调试监控工具安装常用查看工具stracepstatgcoregdbnmonnetperfnetserver GP提供的命令packcoregpmt gpcc6.4 常见

    707110

    Snova运维篇(一):基础维护工具和命令

    图片.png目录:启停数据库访数据库----基本概念:----1.启停数据库启动Greenplum数据库gpstart工具来启动一个已经由gpinitsystem工具初始化好但已经被gpstop工具停止的 directory = datamastergpseg-120191224:15:10:05:015092 gpstop:gp-master:gpadmin-:- Shutdown mode = fast2.访数据库建立会话支持的客户端应用命令行接口 pygresql http:www.pygresql.org libpq C Library libpq https:www.postgresql.orgdocs8.3staticlibpq.html 常见连接Greenplum的Master主机上运行gpstate工具来验证Greenplum数据库系统是否正常运行。 :16:03:11:024757 gpstate:gp-master:gpadmin-:-master Greenplum Version: PostgreSQL 8.3.23 (Greenplum Database

    24920

    Greenplum 实时数据仓库实践(4)——Greenplum安装部署

    对底层系统和数据库的合理配置,也是获得一个强力Greenplum集群的重要前提条件。本篇详细论述Greenplum 6安装部署所涉及的各方面。 对于安装在7.3之前版本的Greenplum,可能由于Linux内核导致高工作负载的Greenplum数据库挂起,7.3版本解决了该。 执行以下操作以避免此。 如有必要,在继续执行下一项任务之前纠正所有。 提供了一个名为gpcheckperf的管理实用程序,可用于识别集群主机上的硬件和系统级

    9420

    Greenplum转换DATE数据类型

    Greenplum转换DATE数据类型 11 场景概述 12 查看外表时的错误 13 解答思路 23.1 修改外表字段类型 23.2 把外表映射成内表 23.3 修改内表类型 23.4 把内表修改成 DATE类型 31 场景概述在工作中使用Greenplum外表时发现date类型中有null或空值,外表不识别类型,解答思路,先使用varchar类型把外表的数据加载到Greenplum,在使用数据类型转化转化为 DETAIL:  External table xiaoxu_temp, line 1000 of gphdfs:nameservice1tmp********_all*, column candate以上是在查询外表时遇到了数据类型 date为null的数值3 解答思路3.1 修改外表字段类型在创建外表语句时把candate字段的类型修改成varchar3.2 把外表映射成内表把外表的数据复制到内表中,映射语句如下:create

    1.6K00

    Greenplum转换DATE数据类型

    1 场景概述在工作中使用Greenplum外表时发现date类型中有null或空值,外表不识别类型,解答思路,先使用varchar类型把外表的数据加载到Greenplum,在使用数据类型转化转化为date DETAIL: External table xiaoxu_temp, line 1000 of gphdfs:nameservice1tmp********_all*, column candate以上是在查询外表时遇到了数据类型 date为null的数值3 解答思路3.1 修改外表字段类型在创建外表语句时把candate字段的类型修改成varchar3.2 把外表映射成内表把外表的数据复制到内表中,映射语句如下:create

    28130

    Greenplum Command Center(GPCC)的安装

    Greenplum监控工具(Greenplum Command Center,GPCC)是Greenplum原生自动化运维工具,它面向Greenplum数据库管理员和使用者,基于浏览器的可视化图形界面, 版本介绍Greenplum集群版本:Greenplum v5.23.0(GP工程师建议安装此版本,因为稳定)GPCC版本:greenplum-cc-web-4.8.0-LINUX-x86_64-for5.23.0 )创建greenplum监控用数据库角色(gpmon)配置greenplum数据库接受来自perfmon监控的链接文件(pg_hba.conf和.pgpass)设置postgresql.conf文件,增加启用监控的参数 $ unzip greenplum-cc-web-4.8.0-LINUX-x86_64-for5.23.0.zip请注意,执行gpccinstall命令涉及了root用户和gpadmin用户的权限。 (Default=28080) 如果使用默认的web访端口,就直接回车Would you like enable SSL?

    2K60

    greenplum5.7,greenplum-cc-web4.0详细安装配置文档

    第一章 文档概述1、 本安装手册描述适用于Greenplum4.0以上版本的安装Greenplum-cc-web操作第二章 安装介质针对Greenplum版本下载对应Greenplum-cc-web包体 由于安装目录权限,建议先使用root用户执行。 【仅在master节点】 4.1、下载对应的安装包 查看Greenplum版本;$ gpstate -s | awk ‘Greenplum Version{print $8}’|awk ‘NR==1′4.3.8.1 其中greenplum-cc-web-3.3.1-LINUX-x86_64.zip是与之对应的 4.2、运行安装包 安装包解压:# unzip greenplum-cc-web-3.3.1-LINUX-x86 YyNn (default=N)nWhat port does the Greenplum Database use?

    53820

    Greenplum生态与工具

    2、基于PostgreSQL ,使其一出生便与众不同3、提供几乎所有语言的访接口,像使用PG一样使用GP4、支持数据库内核数据挖掘,支持空间数据引擎5、支持多种外部数据集成第二节Greenplum 运维工具 gpaddmirrors -i mirror_config_file gpcheckperf 作用:用于在GPDB主机集群执行内存网络磁盘性能测试场景: 基础环境搭建好后,进行一遍性能验证,集群运行出现性能时 优化数据分布和储存常用命令:gpmovemirrors -i move_config_filegpstartgpstopgpstate作用:启动集群停止,重启,重载集群查看集群状态场景:配置文件修改,访入口文件修改后使生效常用命令 3、Nvicat,pgadmin等,只要支持Postgresql,都能连接上,但是存在各种不同情况的不兼容的,只适合临时使用。 2、支持连接到Greenplum3、可以访官方论坛获取更多链接信息:https:help.finebi.comdoc-view-289.html3、开源BI--Superset1、Superset 是一款可视化工具

    1.2K40

    Greenplum 实时数据仓库实践(3)——Greenplum与数据仓库

    对于Greenplum的并发事务,应检查并识别可能并发更新相同数据的事务。对识别出来的,可以通过使用显式的表锁,或要求冲突的事务更新一个虚行(该虚行表示冲突),来防止该发生。 我只想说明的是,最初考虑上Greenplum就是为了解决大数据量MySQL查不动的,而且这也并不是严格的对等测试,Greenplum只是由三台测试机组成的集群,而MySQL使用的是线上高配服务器。 SQL-On-Hadoop不擅长于交互式的即席查询(ad-hoc query),多通过预关联的方式来规避这个。 另外,在并发处理方面能力较弱,高并发大查询场景下,需要控制计算请求的并发度,避免资源过载导致的稳定性和性能下降。我就曾多次遇到多个并发SparkSQL任务占用大量内存,最终出现OOM错误。 请牢记,并行和并发是两个完全不同的概念,MPP数据库是为了解决大数据而设计的并行计算技术,而不是大量的小数据的高并发请求。

    11120

    Apache顶级开源项目——机器学习库MADlib简介与应用实例

    他们面临的主要有:邮件广告点击预测模型不够精准,需要更好的模型和营销策略。其次,他们现有的数据分析流程比较繁琐,速度较慢并且有很多手工的步骤,容易出错。 从这个流程中我们能看到一些:首先,很明显的,数据在Greenplum, SAS和Excel之间多次导入导出,比较繁琐,这期间也会存在数据格式转换,数据丢失等等。 他们主要面临以下:1.如何利用API日志更好地理解不同种类的用户,2.如何更好地理解用户与APP的交互 3. 如何对实时API请求进行分类和安全检测 3. 其次建立了实时访安全评分系统,对可疑访进行及时处理,最后使用Greenplum + MADlib的形式,使得大数据的得到了更加充分的挖掘。 这个项目的数据源主要包括用户的api 访日志和customer profile,涉及45天的访情况,50亿行数据,百万级别的用户信息。

    889100

    大数据时代,传统数据仓库技术是否已经过时?

    3、EDW介绍EDW有如下特点:面向主:各个源系统之间在物理上往往是分离的,数据也是按照源系统服务的业务流程进行组织,而数据仓库中的数据是按照一定的主域进行组织的。 例如:用户、组织、财务、事件、产品等主。 数据仓库的数据主要供企业决策分析之用,主要用来查询,很少涉及修改和删除(不提供修改和删除的功能),通常情况下数据也不会轻易的被刷新(指进入DW的数据不会经常因为源系统的原因需要重新被刷新,如果有这个场景,要思考是否是设计上除了 最明显的就是数据结构的不统一,这对后期数据抽取、清洗会带来极大的成本,应该尽早的实行元数据管理。 第三个原因是容灾机制,Greenplum可以有两个master节点,其中一个宕机的时候,另外一个会继续接收访,并且这两个节点的Catalog 和事务日志会保持实时同步。

    1.3K30

    Apache顶级开源项目——机器学习库MADlib简介与应用实例

    他们面临的主要有:邮件广告点击预测模型不够精准,需要更好的模型和营销策略。其次,他们现有的数据分析流程比较繁琐,速度较慢并且有很多手工的步骤,容易出错。 从这个流程中我们能看到一些:首先,很明显的,数据在Greenplum, SAS和Excel之间多次导入导出,比较繁琐,这期间也会存在数据格式转换,数据丢失等等。 他们主要面临以下:1.如何利用API日志更好地理解不同种类的用户,2.如何更好地理解用户与APP的交互 3. 如何对实时API请求进行分类和安全检测 3. 其次建立了实时访安全评分系统,对可疑访进行及时处理,最后使用Greenplum + MADlib的形式,使得大数据的得到了更加充分的挖掘。 这个项目的数据源主要包括用户的api 访日志和customer profile,涉及45天的访情况,50亿行数据,百万级别的用户信息。

    48080

    大数据时代,传统数据仓库技术是否已经过时?

    本专将详细介绍Greenplum,postgreSQL在大型数据仓库中的地位和实践。嘉宾演讲视频回放及PPT,请复制链接:http:t.cnRgcE3V6,粘贴至浏览器地址栏即可。 面向主:操作型数据库的数据组织面向事物处理任务,各个业务系统 之间各自分离,而数据仓库中的数据是按照一定的主域进行组织的。 例如:当事人、协议、机构、财务、事件、产品等主。 从架构上可以看出这其实是一个磁盘并列,一旦IO出现瓶颈,整个应用集群也会随之出现,所以这样的架构同样不适于数据仓库。 当我们有海量数据的时候,就要面临数据仓库的选型,比如Oracle、DB2、PG生态圈或者Hadoop生态圈。 第三个原因是容灾机制,Greenplum可以有两个master节点,其中一个宕机的时候,另外一个会继续接收访,并且这两个节点的Catalog 和事务日志会保持实时同步。

    89530

    greenplum常用的pg_catalog监控语句

    select * from pg_catalog.pg_proc; -- pg_roles 提供对数据库角色信息的访select * from pg_catalog.pg_roles; -- pg_shdepend select * from pg_catalog.pg_type; -- pg_locks 数据库中打开的事务所持有的锁的信息的访。 有关索引方法的信息(btree,hash,gist,gin,bitmap索引)select * from pg_catalog.pg_am; -- pg_amop 有关与索引访方法操作符类关联的运算符的信息 select * from pg_catalog.pg_amop; -- pg_amproc 有关与索引访方法操作符类关联的支持过程的信息。 select * from pg_catalog.pg_index; -- pg_opclass记录系统目录表定义索引访方法操作符类select * from pg_catalog.pg_opclass

    1.7K50

    【预约中】6节课快速上手Greenplum之备份、安全与高可用

    为了让大家更好的了解和使用Greenplum,我们准备了《六节课快速上手Greenplum》系列直播。 第二场活动是关于Greenplum备份、安全与高可用。 Greenplum是横向扩展的MPP架构的分布式数据库,可以通过容错硬件平台、启用Greenplum数据库高可用性功能来实现高可用特性;同时Greenplum基于流行的PostgreSQL开发,其安全和备份功能与 8月8日 (周六)下午14:00 将邀请 Greenplum原厂高级解决方案架构师 李兴欣 为大家讲解 6节课快速上手Greenplum之备份、安全与高可用! 点击下方蓝色链接即可预约直播! 课程主: 6节课快速上手Greenplum之备份、安全与高可用课程时间:8月8日 (周六)下午14:00课程讲师:Greenplum原厂高级解决方案架构师 李兴欣课程大纲:Greenplum高可用Greenplum 安全Greenplum备份Greenplum恢复Greenplum使用小技巧 8.8.jpg腾讯云大学公众号.jpg关注“腾讯云大学”公众号,了解更多免费、专业、行业最新技术动态分享~腾讯云大学是腾讯云旗下面向云生态用户的一站式学习成长平台

    17331

    相关产品

    • 云数据仓库 PostgreSQL

      云数据仓库 PostgreSQL

      云数据仓库 PostgreSQL (Cloud Data Warehouse PostgreSQL,CDWPG)(原Snova数据仓库)为您提供简单、快速、经济高效的PB级云端数据仓库解决方案。CDWPG兼容Greenplum开源数据仓库,是一种基于MPP(大规模并行处理)架构的数仓服务。借助于该产品,您可以使用丰富的PostgreSQL 开源生态工具,实现对云数据仓库中海量数据的即席查询分析、ETL 处理及可视化探索;还可以借助云端数据无缝集成特性,轻松分析位于 COS、TencentDB、ES 等数据引擎上的 PB 级数据。

    相关资讯

    热门标签

    扫码关注云+社区

    领取腾讯云代金券