Snova简介 Snova是腾讯云上的一款数仓产品，兼容Greenplum 开源数据仓库，是一种基于 MPP（大规模并行处理）架构的数仓服务。...由于Snova兼容Greenplum（以下简称GP），并且提供了很多开源GP不具备的特性和服务，因此建议自建GP用户将应用迁移到Snova，本文详细描述了自建GP用户迁移到Snova的过程和注意事项。...控制台，Snova为您提供了一个功能丰富的管理控制台，让您方便的管理和监控自己的集群。 更多特性，Snova在开源GP的基础上提供了更多的特性以方便用户使用，比如一键扩容，快照等。...目前Snova支持2种类型的集群，具体可以参考计费概述，如果现有机型不满足需求，比如数据量特别大，也可以通过提交工单的方式描述自己的业务需求，Snova技术人员将会与您对接，尽可能满足您的业务需求。...开源同步工具很多，这里推荐使用DataX，具体使用方式见Greenplum数据导入系列 -- （一）DataX 联系Snova技术人员进行支持 对于数据量非常大的场景或者用户有一些特殊需求无法满足的，可以通过您的客户经理
原创声明：本文首发腾讯云·云+社区，未经允许，不得转载 云数据仓库PostgreSQL（CDWPG，原名Snova） 兼容 Greenplum 开源数据仓库，是一种基于 MPP（大规模并行处理）架构的数仓服务...借助于 Snova，您可以使用丰富的 PostgreSQL 开源生态工具，实现对 Snova 中海量数据的即席查询分析、ETL 处理及可视化探索； 还可以借助 Snova 云端数据无缝集成特性，轻松分析位于...---- 通过官网我们知道，snova可以使用PostgreSQL工具，因此，如果想要将linux日志导入snova数据仓库，只需要调用 python3 中的 psycopg2 模块（该模块...一，日志格式分析 我们此次的目的，是将linux系统下的日志文件，导入到snova数据仓库中。 以 /var/log/messages 日志为例，如下图。...image.png 至此，已将日志导入到snova数据仓库中。
2，Snova提供外网IP访问的能力。下图为网络连通示意图： SCF函数运行的时候通过公网IP访问Snova。...三、前期准备工作 3.1 Snova集群创建外网IP 在Snova集群控制台，基础配置页面，点击“申请外网地址”，等待运行成功后，会看到访问该集群的外网IP地址。...3.2 添加Snova访问地址白名单 在Snova控制台，集群详情页，配置页，新建白名单如下所示。 为什么要建这个访问白名单？...实现功能，读取数据仓库中，postgres库中的t1表中的数据。 其中user和password分别为3.3创建的用户和密码。Host和port为3.1章节中的Snova外网访问地址。...SELECT * from cos_tbl") rows = cur.fetchall() conn.close() 通过以上步骤，可以实现在上传文件到COS后，自动触发回调函数进行数据COS导入数据仓库中
Snova为您提供简单、快速、经济高效的PB级云端数据仓库解决方案。...借助于Snova，您可以在数分钟内创建拥有数百节点的企业级云端数据仓库，并高效的完成日常维护工作；也可以使用丰富的Postgre开源生态工具，实现对Snova中海量数据的即时查询分析、ETL处理及可视化探索...完全支持ANSI SQL 2008标准，使用标准SQL即可构建企业级数据仓库。支持直接查询COS数据，而无需提前对数据进行预加载。 无缝集成 支持COS云存储扩展，实现存储空间的无限扩展。...查询引擎深度优化，查询效率数倍于传统数据仓库。 安全可靠 双节点同步冗余，实现用户无感的故障转移和容灾备份。分布式部署，计算单元、服务器、机柜三重防护，提高重要数据基础设施保障。...借助于Snova数据仓库，在金融、零售、互联网、游戏等多个领域，可方便地搭建用于经营分析决策、海量日志分析、用户行为实时洞察等场景的一套解决方案。
本节主要从监控告警的角度，深入了解腾讯云snova平台的监控机制和策略。...完善的告警系统，能够获取当前服务端snova的运行情况，当snova某个指标波动超过正常阈值时进行警报提示，以及时止损，保证平台稳定运行和故障修复的及时介入。...---- 1.告警系统概览 监控地址：用户控制台点击snova进入 https://console.cloud.tencent.com/snova 图片.png 点击集群名称进入详细页面，选择性能监控
0x00 前言 前段时间有不少朋友让推荐一些数据仓库的书出来，本着“如果重复三次回答同一个问题，就应该写一篇博客”的原则，在这里梳理一下数据仓库相关的资源给大家。...0x01 书籍推荐 一、数据仓库工具箱（第3版）：维度建模权威指南 英文名：《The DataWarehouse Toolkit-The Complete Guide to Dimensona Modeling...所以强烈推荐看了这本书，至少是前5五章。...推荐这本书的原因就在于现在大部分互联网公司的数据仓库都是基于这一套大数据框架来的，更准确的来讲，大家其实都是先工程，后理论，因此这本书可以作为对大数据生态的一览。...有一本小书推荐给大家：《数据仓库实践》，地址：http://www.mdjs.info/2018/01/01/data-warehouse/data-warehouse-in-action/。
0x00 前言 数仓的必读书，其实已经推荐过好几次了，但是最近依旧有很多朋友在群里问数据仓库入门看什么书，索性接着视频号的讲稿，给大家再分享一次。 很多读者私信问居士，学习数据仓库该看什么书！...今天，居士就给大家分享居士认为必读的三本： 0x01 推荐 前两本书，一本是《数据仓库工具箱：维度建模权威指南》，一本是《数据仓库》。 两本分别代表了数据仓库建模中的两大流派：维度建模和范式建模。...因此，就要推荐第三本书，也是居士逢人必推的一本：《大数据之路：阿里巴巴大数据实践》。...该书可作为整个数据体系建设的参考书，从数据平台到数据仓库到数据应用，都有比较不错的讲解。...0xFF 总结 如果上面三本书觉得不够，也可以看一下居士写的关于数据仓库的文章，其中有一篇维度建模的文章在Google搜索里面也排到第一了。 当然，如果你有推荐的书，也可以留言出来～
说明 Snova客户端工具目前包含pg_dump，pg_dumpall ，psql 3个可执行文件。...Snova是基于Greenplum的MPP数据库，因此也兼容PostgreSQL的客户端工具，但如果直接使用PostgreSQL的pg_dump，pg_dumpall，psql等，无法识别Snova特有的分布键...名称 工具名称：snova-client-tool--platform.zip version：代表snova的版本号，目前为1.0.0，可以支持Greenplum 5.x,...6.x版本 platform：代表运行的平台，暂只支持centos7，未来会提供更多版本 使用方法 下载后，需先解压文件 unzip snova-client-tool--...gp-syntax -f output -t test_table -h{ip} -p{port} -U{username} {dbname} 注：运行环境需要有GLIBC_2.14 下载 工具包见附件 snova-client-tool
背景 在数据仓库的建设中，通常我们使用Hive处理原始数据（PB级别），进行耗时较长的ETL工作，再将结果数据（TB级别）交由准实时的计算引擎（如Snova）对接BI工具，保证报表的准实时展现。...本文介绍了如何将EMR上Hive的数据通过COS导入到Snova云数仓的过程。...将本地数据导入COS 语法如下： insert into hive_cos_table select * from hive_local_table; 成功写入后，可以在对应的COS目录下看到文件 在Snova...语法如下： create table snova_local_table(c1 int, c2 text, c3 int, c4 text); insert into snova_local_table...select * from snova_cos_table; 注意 Snova不支持ORC,Parquet等格式，只支持CSV格式 Snova侧导入COS数据的效率与文件的个数有一定关系，建议个数为Snova
说明 本文描述问题及解决方法同样适用于 腾讯云 云数据仓库 PostgreSQL（CDWPG）。...0 [gpadmincloud@mdw-snova-90g4jkrm ~]$ 经过测试，确实是报错了，但是执行并没有中断，而是继续执行了下去。...[gpadmincloud@mdw-snova-90g4jkrm ~]$ echo $?...[gpadmincloud@mdw-snova-90g4jkrm ~]$ echo $?...3 [gpadmincloud@mdw-snova-90g4jkrm ~]$ 相对方案一，这种方式就显得更加灵活了，堪称完美。
说明 本文描述问题及解决方法同样适用于 腾讯云 云数据仓库 PostgreSQL（CDWPG）。 背景 Greenplum底层是postgresql，客户端自然也是psql。...实现方案 Demo SQL文件 [gpadmincloud@mdw-snova-90g4jkrm ~]$ cat demo.sql TRUNCATE test_timestamp; INSERT INTO...-90g4jkrm ~]$ export PGPASSWORD='dy1' [gpadmincloud@mdw-snova-90g4jkrm ~]$ psql -d dy_test -U dy1 -h...03-17 18:55:48.139335 (1 row) 方案二：在家目录下建一个.pgpass实现免密 格式信息：主机名或者IP:端口:数据库名:用户名:密码 [gpadmincloud@mdw-snova...-90g4jkrm ~]$ cat .pgpass 10.0.38.133:5432:dy_test:dy1:dy1 [gpadmincloud@mdw-snova-90g4jkrm ~]$ psql
说明 本文描述问题及解决方法同样适用于 腾讯云Snova云数仓。 背景 DBA在管理数据仓库的时候，往往会创建多个帐号，每个帐号有不同的用途。因此这里就有不同帐号间表授权的需求。 ...由于Snova目前基于PostgreSQL 8.3.23，还不支持上述语法（后续会升级到9.+，敬请期待！）。但可以通过手动编写函数，来实现类似语法。...运行以上代码，就可以使用如下语法完成对某个schema下所有表的授权 select grant_on_all_tables('schema_name','user_name'); 注意 Snova中函数可见性是数据库内
本节主要从账户管理的角度，进一步学习snova数仓平台的日常维护和使用。
出于性能原因，推荐使用万兆网或者更快的系统。 默认情况下，Interconnect使用带流控制的用户数据包协议（UDPIFC）在网络上发送消息。Greenplum软件在UDP之上执行包验证。
Snova添加子用户及策略操作指南 1，创建子用户 主账号登录腾讯云，进入控制台。...关联snova相关读写权限。策略关联成功后，子用户即获取相关资源权限。 image.png 3，主账号获取子账号控制台登录链接以及设置登录密码。...登录即可 image.png 5，进入Snova控制台。 https://console.qcloud.com/snova，即可进行访问。 如果要回收该子用户的策略。...在cam成员管理，删除snova策略即可。
rBAoL1-Q20mAN44lAAO6uDAqdEA653.png 本文描述问题及解决方法同样适用于 腾讯云Snova云数仓。...2，Snova提供外网IP访问的能力。下图为网络连通示意图： Azkaban Executor在执行运行job时，其脚本或者命令通过公网IP访问Snova。...三、前期准备工作 3.1 Snova集群创建外网IP 在Snova集群控制台，基础配置页面，点击“申请外网地址”，等待运行成功后，会看到访问该集群的外网IP地址。...3.2 添加Snova访问地址白名单 在Snova控制台，集群详情页，配置页，新建白名单如下所示。 为什么要建这个访问白名单？...insert into gp_table select * from cos_table; 数据的导入也可以通过其他导入工具，如DataX将其他数据库的数据周期性的导入Snova数据仓库中。
说明 本文描述问题及解决方法同样适用于 腾讯云 云数据仓库 PostgreSQL（CDWPG）。 背景 Greenplum使用角色(role)管理数据库访问权限。...Schema的权限 使用管理员角色新创建一个schema： [gpadmincloud@mdw-snova-aqfhzkhe ~]$ psql -d postgres psql (9.4.24) Type...现在我们切换至普通用户，在该schema下尝试创建表： [gpadmincloud@mdw-snova-aqfhzkhe ~]$ PGPASSWORD=gp_dy psql -d postgres -h...我们切换至管理员，将该schema的相关权限赋予普通用户gp_dy： [gpadmincloud@mdw-snova-aqfhzkhe ~]$ psql -d postgres psql (9.4.24...字段的权限 使用管理员用户，限制普通用户gp_dy对表super_test的字段级别权限，让其只能访问到name字段： [gpadmincloud@mdw-snova-aqfhzkhe ~]$ psql
~这就是关于数据仓库最贴切的定义了。事实上数据仓库不应让传统关系数据库来实现，因为关系数据库最少也要求满足第1范式，而数据仓库里的关系表可以不满足第1范式。...有了这些数据快照以后，用户便可将其汇总，生成各历史阶段的数据分析报告； 数据仓库组件 数据仓库的核心组件有四个：各源数据库，ETL，数据仓库，前端应用。如下图所示： ? 1....数据仓库开发流程 在数据库系列的第五篇 中，曾详细分析了数据库系统的开发流程。数据仓库的开发流程和数据库的比较相似，因此本文仅就其中区别进行分析。 下图为数据仓库的开发流程： ?...在国内最优秀的互联网公司里(如阿里、腾讯)，很多数据引擎是架构在数据仓库之上的(如数据分析引擎、数据挖掘引擎、推荐引擎、可视化引擎等等)。...不少员工认为，开发成本应更多集中在数据仓库层，不断加大数据建设的投入。因为一旦规范、标准、高性能的数据仓库建立好了，在之上进行数据分析、数据挖掘、跑推荐算法等都是轻松惬意的事情。
本节主要从MPP架构入手，结合gp核心架构设计理念为深入理解snova打基础。
扩容开始后，降低大规模操作的进程，重新分布表，移除扩展方案，运行健康检查，查看统计信息。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
