一个数据库角色可以有一系列属性,这些属性定义他的权限,以及与客户认证系统的交互。 登陆权限 只有具有LOGIN属性的角色才可以用作数据库连接的初始角色名。 ...
OushuDB内部针对每一个部分都进行了优化的设计。
图1给出了一个典型的OushuDB集群的主要组件。计算部分和存储部分完全分离,可以独立扩容。在图中有多个OushuDB Master节点。...元数据管理服务和资源管理服务位于OushuDB Master内部。其他节点为Slave节点。每个Slave节点上安装有一个OushuDB Segment。Segment实现OushuDB的计算。...OushuDB Segment在执行查询的时候会启动多个QE (Query Executor, 查询执行器)。查询执行器运行在资源容器里面。...当一个节点加入集群时,他会向OushuDB Master节点发送心跳,然后就可以接收未来查询了。...元数据缓存:用于OushuDB确定哪些Segment扫描表的哪些部分。OushuDB需要把计算派遣到数据所在的地方,所以我们需要匹配计算和数据的局部性。
https://blog.csdn.net/wzy0623/article/details/80433158 一、OushuDB AI简介 OushuDB可集成MADlib...现在OushuDB通过MADlib已经支持了大部分机器学习算法,正在研发一个新的组件以支持深度学习。...OushuDB对MADlib进行了增强和优化,并在此基础上提出了AI-in-Database的概念。...其当前最新版本为MADlib 1.12,可以与PostgreSQL、Greenplum、HAWQ和OushuDB等数据库系统无缝集成。 1....中安装MADlib非常简单,下面简述在OushuDB 3.1.1上安装MADlib 1.11的过程。
下面通过一个实例,分安装规划、安装前准备、安装Ambari、安装HDP、安装OushuDB五个步骤,详细介绍使用Ambari部署OushuDB集群的完整过程。 一、安装规划 1....OushuDB官方文档提供了两种安装方式,手工安装和使用Ambari部署集群。本次安装选择使用Ambari进行安装部署最新的OushuDB 3.1.1。...的安装部署过程包括安装Ambari、HDP、OushuDB三个依次进行的步骤,在实施这些步骤前需要做一些准备工作。...注意至少需要安装启动HDFS和Zookeeper这两个服务,它们是OushuDB所需要的。 8....图11 初步判断出现该问题的原因是OushuDB 3.1.1和某些HDP 2.5.3的服务存在冲突或兼容性问题,保留了如图12的部分服务后,重新部署OushuDB,问题解决,全部正常输出
https://blog.csdn.net/wzy0623/article/details/80017447 一、OushuDB新版本的性能提升 Oushu Database...OushuDB各版本新增特性信息,参考http://www.oushu.io/docs/ch/release-notes.html。 二、OushuDB性能测试环境 1....实验目的 本实验通过模拟一个典型的应用场景和实际数据量,测试对比OushuDB内部表、外部表的读写性能。 2....软件环境 Linux:CentOS Linux release 7.2.1511 (Core) Ambari:2.4.2 HDP:2.5.3 OushuDB:3.1.1 4....图9 另外,OushuDB 会比Hive快至少一个数量级,相关测试可参考:HAWQ与Hive查询性能对比测试。
postgresql-odbc postgresql-odbc-09.03.0100-2.el7.x86_64 cat /etc/odbcinst.ini [PostgreSQL] Description = ODBC for OushuDB...vim /etc/odbc.ini ~~~~~~~~~~ [pg] Description = Test to OushuDB //ODBC的描述 Driver = PostgreSQL Database...= postgres Servername = 10.0.0.10 UserName = oushu Password = 123 //驱动名称 //数据库名称 //布置了OushuDB数据库的服务器...IP地址 //数据库相关的用户名 //数据库密码 //布置了OushuDB数据库的服务器的端口号 //关闭只读特性 Port = 5432 ReadOnly = 0 ConnSettings = set...isql OushuDB -v
1、表 OushuDB表由行(rows)和(columns)组成。每一个列有一个列名和一个数据类型,一个表的列数和列的顺序是固定的。一个表的行数是可变的。SQL并不假设表中行的顺序。...drop table my_first_table; 2、表的存储格式 OushuDB现在支持多种存储格式:AO,Parquet,ORC,MagmaAP。...注:和GPDB类似,之前OushuDB版本支持CO格式,但CO格式不适合集群大和分区多的情况,后续新版本去除了CO支持。 对于各种格式的表的建表语法,下面给出了几个例子。...int, rank int, year smallint,gender char(1), count int,primary key(id) ) format 'magmaap'; 3、表的分布 在OushuDB...OushuDB支持基于Range和List的两种分区方式。
如果您用的是Oushu Lava公有云,或者私有云2.0+,您可以通过Lava UI自动部署OushuDB,详情请见: http://oushu.io/docs/ch/lava-...。...如果您不使用Oushu Lava,只想单独部署OushuDB,请按照本节步骤安装。...首先在oushum1,修改/usr/local/hawq/etc/slaves,将所有OushuDB的segment节点的hostname写入slaves中,在本次安装中,应该写入slaves的有oushus1... OushuDB4.0版本新增Magma的单独配置和启停功能,使用magam服务时, 在oushum1,使用“hawq ssh”在所有slave节点创建node数据目录,...--with_magma //OushuDB4.0新增,3.X版本不支持该用法 // OushuDB4.0版本新增--with_magma选项,但只有hawq init|start|stop cluster
用sqoop用户建立初始抽取脚本 本示例要用Sqoop将MySQL的数据抽取到Hive ORC外部表,然后利用OushuDB ORC外部表功能将数据装载到内部表中。...但OushuDB没有提供UPDATE、DELETE等DML操作,因此对于所有属性的变化均增加一条记录,即所有维度属性都按SCD2方式处理。...OushuDB中的bigserial数据类型与MySQL的auto_increment类似,长用于定义自增列。...依据OushuDB的建议,装载数据后,执行查询前,先分析表以提高查询性能。 3....下面的OushuDB函数按照转储最老分区数据、删除最老分区数据、建立新分区的步骤动态滚动分区。
OushuDB不同文件格式的性能对比,参见“OushuDB入门(二)——性能篇”。 二、交互查询与图形化显示 1....(2)配置Zeppelin支持OushuDB Zeppelin 0.6.0通过JDBC翻译器解析OushuDB查询,只需进行简单的配置即可,步骤如下。...使用OushuDB的group by rollup求小计和总计。...OushuDB为分析型应用提供了丰富的聚合函数。...使用OushuDB提供的窗口函数row_number(),按商品类型分区,按销售额倒序,取得销售排名。
编程接口 - JDBC 开发准备 获取连接 执行语句 编译与运行 JDBC(Java DataBase Connectivity,Java数据库连接...
image.png 学习OushuDB的之前需要了解下这个产品的大致情况。OushuDB属于OLAP数据库,是新一代云原生数据仓库。...OushuDB已在金融、电信、制造、医疗和互联网等行业得到广泛的部署和应用。
OushuDB与 PostgreSQL兼容,同样可以通过libpq来进行数据库连接和数据操纵。...在要使用libpq连接OushuDB数据库之前,首先要引用libpq的头文件libpq-fe.h。
source /usr/local/hawq/greenplum_path.sh # 设置OushuDB环境变量hawq start cluster # 启动整个OushuDB集群 另外一种方式是分别启动...OushuDB master和segment。...也有两种方式: # 方式一hawq restart cluster # 重启OushuDB集群hawq stop cluster # 停止OushuDB集群# 方式二hawq restart master...# 重启本机的OushuDB masterhawq restart segment # 重启本机的OushuDB segmenthawq stop master # 停止本机OushuDB masterhawq...stop segment # 停止本机OushuDB segment 启动/停止Magma OushuDB4.0 实现了单独起停Magma服务,具体命令如下: # 方式一 OushuDB4.0 集群起停带
HDP安装过程参见“OushuDB入门(一)——安装篇” 2....配置SSH免密码登录 实际的数据装载过程是通过OushuDB的自定义函数实现的,自然工作流中要执行包含psql命令行的本地shell脚本文件。...三个并行处理的Sqoop动作节点sqoop-customer、sqoop-product、sqoop-sales_order用作数据抽取;一个SSH动作节点psql-node调用本地shell脚本,执行OushuDB...-h hdp2 -c "set search_path=tds;select fn_regular_load ();"' 该shell文件内容很简单,可执行的就一行,调用psql执行OushuDB
OushuDB支持事务的所有ACID属性,支持Snapshot Isolation。事务发生由Master节点协调和控制。采用的是泳道模型。并发插入时每个并发会使用各自的泳道,互不冲突。...起初HDFS是不支持truncate的,现在HDFS刚支持的truncate功能是根据OushuDB的需求做出的。...2、资源管理器 OushuDB支持三级资源管理: 全局资源管理:可以集成YARN,和其他系统共享集群资源。 OushuDB内部资源管理:可以支持查询,用户等级别的资源管理。...现在OushuDB支持多极资源队列。可以通过DDL方便的定义和修改资源队列。...下面是OushuDB资源管理器的主要架构图: image.png资源管理器中的各个组件作用如下: 请求处理器:接收查询派遣器进程的资源请求。 资源分配器:负责资源的分配。
OushuDB 有一个可扩展的数据类型系统, 该系统比其它SQL实现更具通用性和灵活性。...OushuDB 扫描/分析器只将词法元素分解成五个基本种类: 整数、浮点数、字符串、标识符、关键字。...大多数非数字类型首先表征为字符串,SQL 语言定义允许声明字符串的类型名,而且这种机制可以用于OushuDB 保证分析器沿着正确的方向运行。...在OushuDB 分析器里, 有四种基本的SQL元素需要独立的类型转换规则: 函数调用 多数OushuDB 类型系统是建立在一套丰富的函数上的。函数调用可以有一个或多个参数。...因为OushuDB 允许函数重载, 所以函数名自身并不唯一地标识将要调用的函数, 分析器必须根据函数提供的参数类型选择正确的函数。
插入数据 INSERT INTO lineitem SELECT * FROM e_lineitem; 从下面的例子可以看到新执行器对于性能的大幅改进。
虽然Hadoop集群本身是硬件容错的,但OushuDB有其特殊性。OushuDB master的数据是存储在主机本地硬盘上的,是一个单故障点。...OushuDB 利用同步的日志信息将集群重建为最后一成功提交事务时的状态。激活的备用主节点将作为OushuDB新的主节点,为集群提供服务。...在OushuDB中启用 HDFS HA时会修改OushuDB的目录和永久表。因此迁移文件空间位置前,先要备份目录,以确保不会因为硬件失效或在一个操作期间(如杀掉OushuDB进程)丢失数据。...OushuDB提供了命令行工具hawq filespace,迁移文件空间的位置。 (1)如果OushuDB主节点使用了一个定制端口,输出PGPORT环境变量。...图22 四、理解OushuDB容错服务 OushuDB的容错服务(fault tolerance service,FTS)使得OushuDB可以在segment节点失效时持续操作。
领取专属 10元无门槛券
手把手带您无忧上云