一个数据库角色可以有一系列属性，这些属性定义他的权限，以及与客户认证系统的交互。 登陆权限 只有具有LOGIN属性的角色才可以用作数据库连接的初始角色名。 ...
OushuDB内部针对每一个部分都进行了优化的设计。
图1给出了一个典型的OushuDB集群的主要组件。计算部分和存储部分完全分离，可以独立扩容。在图中有多个OushuDB Master节点。...元数据管理服务和资源管理服务位于OushuDB Master内部。其他节点为Slave节点。每个Slave节点上安装有一个OushuDB Segment。Segment实现OushuDB的计算。...OushuDB Segment在执行查询的时候会启动多个QE (Query Executor, 查询执行器)。查询执行器运行在资源容器里面。...当一个节点加入集群时，他会向OushuDB Master节点发送心跳，然后就可以接收未来查询了。...元数据缓存：用于OushuDB确定哪些Segment扫描表的哪些部分。OushuDB需要把计算派遣到数据所在的地方，所以我们需要匹配计算和数据的局部性。
下面通过一个实例，分安装规划、安装前准备、安装Ambari、安装HDP、安装OushuDB五个步骤，详细介绍使用Ambari部署OushuDB集群的完整过程。 一、安装规划 1....OushuDB官方文档提供了两种安装方式，手工安装和使用Ambari部署集群。本次安装选择使用Ambari进行安装部署最新的OushuDB 3.1.1。...的安装部署过程包括安装Ambari、HDP、OushuDB三个依次进行的步骤，在实施这些步骤前需要做一些准备工作。...注意至少需要安装启动HDFS和Zookeeper这两个服务，它们是OushuDB所需要的。 8....图11 初步判断出现该问题的原因是OushuDB 3.1.1和某些HDP 2.5.3的服务存在冲突或兼容性问题，保留了如图12的部分服务后，重新部署OushuDB，问题解决，全部正常输出
https://blog.csdn.net/wzy0623/article/details/80433158 一、OushuDB AI简介 OushuDB可集成MADlib...现在OushuDB通过MADlib已经支持了大部分机器学习算法，正在研发一个新的组件以支持深度学习。...OushuDB对MADlib进行了增强和优化，并在此基础上提出了AI-in-Database的概念。...其当前最新版本为MADlib 1.12，可以与PostgreSQL、Greenplum、HAWQ和OushuDB等数据库系统无缝集成。 1....中安装MADlib非常简单，下面简述在OushuDB 3.1.1上安装MADlib 1.11的过程。
https://blog.csdn.net/wzy0623/article/details/80017447 一、OushuDB新版本的性能提升 Oushu Database...OushuDB各版本新增特性信息，参考http://www.oushu.io/docs/ch/release-notes.html。 二、OushuDB性能测试环境 1....实验目的 本实验通过模拟一个典型的应用场景和实际数据量，测试对比OushuDB内部表、外部表的读写性能。 2....软件环境 Linux：CentOS Linux release 7.2.1511 (Core) Ambari：2.4.2 HDP：2.5.3 OushuDB：3.1.1 4....图9 另外，OushuDB 会比Hive快至少一个数量级，相关测试可参考：HAWQ与Hive查询性能对比测试。
postgresql-odbc postgresql-odbc-09.03.0100-2.el7.x86_64 cat /etc/odbcinst.ini [PostgreSQL] Description = ODBC for OushuDB...vim /etc/odbc.ini ~~~~~~~~~~ [pg] Description = Test to OushuDB //ODBC的描述 Driver = PostgreSQL Database...= postgres Servername = 10.0.0.10 UserName = oushu Password = 123 //驱动名称 //数据库名称 //布置了OushuDB数据库的服务器...IP地址 //数据库相关的用户名 //数据库密码 //布置了OushuDB数据库的服务器的端口号 //关闭只读特性 Port = 5432 ReadOnly = 0 ConnSettings = set...isql OushuDB -v
如果您用的是Oushu Lava公有云，或者私有云2.0+，您可以通过Lava UI自动部署OushuDB，详情请见： http://oushu.io/docs/ch/lava-...。...如果您不使用Oushu Lava，只想单独部署OushuDB，请按照本节步骤安装。...首先在oushum1，修改/usr/local/hawq/etc/slaves，将所有OushuDB的segment节点的hostname写入slaves中，在本次安装中，应该写入slaves的有oushus1... OushuDB4.0版本新增Magma的单独配置和启停功能，使用magam服务时, 在oushum1，使用“hawq ssh”在所有slave节点创建node数据目录，...--with_magma //OushuDB4.0新增，3.X版本不支持该用法 // OushuDB4.0版本新增--with_magma选项，但只有hawq init|start|stop cluster
1、表 OushuDB表由行（rows）和（columns）组成。每一个列有一个列名和一个数据类型，一个表的列数和列的顺序是固定的。一个表的行数是可变的。SQL并不假设表中行的顺序。...drop table my_first_table; 2、表的存储格式 OushuDB现在支持多种存储格式：AO，Parquet，ORC，MagmaAP。...注：和GPDB类似，之前OushuDB版本支持CO格式，但CO格式不适合集群大和分区多的情况，后续新版本去除了CO支持。 对于各种格式的表的建表语法，下面给出了几个例子。...int, rank int, year smallint,gender char(1), count int，primary key(id) ) format 'magmaap'; 3、表的分布 在OushuDB...OushuDB支持基于Range和List的两种分区方式。
用sqoop用户建立初始抽取脚本 本示例要用Sqoop将MySQL的数据抽取到Hive ORC外部表，然后利用OushuDB ORC外部表功能将数据装载到内部表中。...但OushuDB没有提供UPDATE、DELETE等DML操作，因此对于所有属性的变化均增加一条记录，即所有维度属性都按SCD2方式处理。...OushuDB中的bigserial数据类型与MySQL的auto_increment类似，长用于定义自增列。...依据OushuDB的建议，装载数据后，执行查询前，先分析表以提高查询性能。 3....下面的OushuDB函数按照转储最老分区数据、删除最老分区数据、建立新分区的步骤动态滚动分区。
OushuDB不同文件格式的性能对比，参见“OushuDB入门（二）——性能篇”。 二、交互查询与图形化显示 1....（2）配置Zeppelin支持OushuDB Zeppelin 0.6.0通过JDBC翻译器解析OushuDB查询，只需进行简单的配置即可，步骤如下。...使用OushuDB的group by rollup求小计和总计。...OushuDB为分析型应用提供了丰富的聚合函数。...使用OushuDB提供的窗口函数row_number()，按商品类型分区，按销售额倒序，取得销售排名。
source /usr/local/hawq/greenplum_path.sh # 设置OushuDB环境变量hawq start cluster # 启动整个OushuDB集群 另外一种方式是分别启动...OushuDB master和segment。...也有两种方式: # 方式一hawq restart cluster # 重启OushuDB集群hawq stop cluster # 停止OushuDB集群# 方式二hawq restart master...# 重启本机的OushuDB masterhawq restart segment # 重启本机的OushuDB segmenthawq stop master # 停止本机OushuDB masterhawq...stop segment # 停止本机OushuDB segment 启动/停止Magma OushuDB4.0 实现了单独起停Magma服务，具体命令如下： # 方式一 OushuDB4.0 集群起停带
OushuDB与 PostgreSQL兼容，同样可以通过libpq来进行数据库连接和数据操纵。...在要使用libpq连接OushuDB数据库之前，首先要引用libpq的头文件libpq-fe.h。
image.png 学习OushuDB的之前需要了解下这个产品的大致情况。OushuDB属于OLAP数据库，是新一代云原生数据仓库。...OushuDB已在金融、电信、制造、医疗和互联网等行业得到广泛的部署和应用。
编程接口 - JDBC 开发准备 获取连接 执行语句 编译与运行 JDBC(Java DataBase Connectivity，Java数据库连接...
OushuDB支持事务的所有ACID属性，支持Snapshot Isolation。事务发生由Master节点协调和控制。采用的是泳道模型。并发插入时每个并发会使用各自的泳道，互不冲突。...起初HDFS是不支持truncate的，现在HDFS刚支持的truncate功能是根据OushuDB的需求做出的。...2、资源管理器 OushuDB支持三级资源管理： 全局资源管理：可以集成YARN，和其他系统共享集群资源。 OushuDB内部资源管理：可以支持查询，用户等级别的资源管理。...现在OushuDB支持多极资源队列。可以通过DDL方便的定义和修改资源队列。...下面是OushuDB资源管理器的主要架构图： image.png资源管理器中的各个组件作用如下： 请求处理器：接收查询派遣器进程的资源请求。 资源分配器：负责资源的分配。
HDP安装过程参见“OushuDB入门（一）——安装篇” 2....配置SSH免密码登录 实际的数据装载过程是通过OushuDB的自定义函数实现的，自然工作流中要执行包含psql命令行的本地shell脚本文件。...三个并行处理的Sqoop动作节点sqoop-customer、sqoop-product、sqoop-sales_order用作数据抽取；一个SSH动作节点psql-node调用本地shell脚本，执行OushuDB...-h hdp2 -c "set search_path=tds;select fn_regular_load ();"' 该shell文件内容很简单，可执行的就一行，调用psql执行OushuDB
OushuDB 有一个可扩展的数据类型系统， 该系统比其它SQL实现更具通用性和灵活性。...OushuDB 扫描/分析器只将词法元素分解成五个基本种类： 整数、浮点数、字符串、标识符、关键字。...大多数非数字类型首先表征为字符串，SQL 语言定义允许声明字符串的类型名，而且这种机制可以用于OushuDB 保证分析器沿着正确的方向运行。...在OushuDB 分析器里， 有四种基本的SQL元素需要独立的类型转换规则： 函数调用 多数OushuDB 类型系统是建立在一套丰富的函数上的。函数调用可以有一个或多个参数。...因为OushuDB 允许函数重载， 所以函数名自身并不唯一地标识将要调用的函数， 分析器必须根据函数提供的参数类型选择正确的函数。
虽然Hadoop集群本身是硬件容错的，但OushuDB有其特殊性。OushuDB master的数据是存储在主机本地硬盘上的，是一个单故障点。...OushuDB 利用同步的日志信息将集群重建为最后一成功提交事务时的状态。激活的备用主节点将作为OushuDB新的主节点，为集群提供服务。...在OushuDB中启用 HDFS HA时会修改OushuDB的目录和永久表。因此迁移文件空间位置前，先要备份目录，以确保不会因为硬件失效或在一个操作期间（如杀掉OushuDB进程）丢失数据。...OushuDB提供了命令行工具hawq filespace，迁移文件空间的位置。 （1）如果OushuDB主节点使用了一个定制端口，输出PGPORT环境变量。...图22 四、理解OushuDB容错服务 OushuDB的容错服务（fault tolerance service，FTS）使得OushuDB可以在segment节点失效时持续操作。
插入数据 INSERT INTO lineitem SELECT * FROM e_lineitem; 从下面的例子可以看到新执行器对于性能的大幅改进。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
