相关内容
HAWQ技术解析（七） —— 存储分布
在hawq中创建一个表时，应该预先对数据如何分布、表的存储选项、数据导入导出方式和其它hawq特性做出选择，这些都将对数据库性能有极大影响。 理解有效选项 的含义以及如何在数据库中使用它们，将有助于做出正确的选择。 一、数据存储模型 create table的with子句用于设置表的存储选项。 例如：db1=# create table t1...
存储桶管理
headers.add(x-cos-metha-1); corsrule.exposeheader = headers; 设置跨域访问配置信息putbucketcorsrequest.addcorsrule(corsrule); 使用同步方法try { ...生命周期管理的配置跨域访问设置跨域配置功能说明设置指定存储桶的跨域访问配置信息（put bucket cors）方法原型putbucketcorsresult putbucketcors(put...
NameNode 高HA
配置值最后的mycluster作为存储的根路径，多个ha可公用服务器进行数据存储，节约服务器成本。 因此每个ha服务的根路径不能一样，便于区分. dfs.namenode.shared.edits.dir qjournal:172. 21.0. 12:4005; 172.21.0. 15:4005; 172.21.0. 4:4005hadoop dfs.journalnode.edits.dir 这是journalnode本地存储绝对路径。 dfs...
Hadoop HA 机制学习
ha其本质上就是要保证主备nn元数据是保持一致的，即保证fsimage和editlog在备nn上也是完整的。 元数据的同步很大程度取决于editlog的同步，而这步骤的关键就是共享文件系统，下面开始介绍一下关于qjm共享存储机制。 二、qjm原理 2.1 qjm背景 在qjm出现之前，为保障集群的ha，设计的是一种基于nas的共享存储机制，即主...
详解Hadoop HA 如何运作
ha其本质上就是要保证主备nn元数据是保持一致的，即保证fsimage和editlog在备nn上也是完整的。 元数据的同步很大程度取决于editlog的同步，而这步骤的关键就是共享文件系统，下面开始介绍一下关于qjm共享存储机制。 二、qjm原理2.1 qjm背景在qjm出现之前，为保障集群的ha，设计的是一种基于nas的共享存储机制，即主备...
Hadoop2.0的HA介绍
所以启动了hadoop2.0的ha机制之后，secondarynamenode，checkpointnode，buckcupnode这些都不需要了。 3 nfs方式 nfs作为active namenode和standby namenode之间数据共享的存储。 active namenode会把最近的edits文件写到nfs，而standby namenode从nfs中把数据读过来。 这个方式的缺点是，如果active namenode或者...
HAWQ技术解析（三） —— 基本架构
下图提供了一个hawq典型部署的高级别架构视图。? hawq与hadoop的资源管理框架yarn紧密结合，为查询提供资源管理。 hawq在一个资源池中缓存yarn容器，然后...对于所有hawq表存储格式，ao（append-only）和parquet，数据文件是可拆分的，因此hawq可以赋予多个虚拟段并发处理同一个数据文件，这提高了查询执行的并行...
HAWQ技术解析（十七） —— 最佳实践
如果有必要，从hawq集群中移除机器，解决硬件和操作系统问题，问题解决后再加回集群中。 检查用于hawq数据存储和操作系统的磁盘空间使用量。 推荐频率：每5到30分钟 重要性：非常重要 建立磁盘空间检查。 . 设置阈值，当磁盘到达一个容量百分比时发出警告。 推荐的阈值为总容量的75% . 不推荐在接近容量100%的系统上...
HAWQ技术解析（一） —— HAWQ简介
hawq 1.0 ga（2013年初）：改变了传统mpp数据库架构，包括事务，容错，元数据管等。 4. hawq 1.x版本（2014-2015 q2）：增加了一些企业级需要的功能，比如parquet存储，新的优化器，kerberos，ambari安装部署。 客户覆盖全球。 5. hawq 2.0 alpha发布并成为apache孵化器项目：针对云环境的系统架构重新设计，数十个...
HAWQ技术解析（十四） —— 高可用性
虽然hadoop集群本身是硬件容错的，但hawq有其特殊性。 hawq master的数据是存储在主机本地硬盘上的，是一个单点。 作为最佳实践，hawq建议在部署时，master节点应该使用raid，而segment节点应该使用jbod。 这些硬件级别的系统为单一磁盘损坏提供高性能冗余，而不必进入到数据库级别的容错。 raid和jbod在磁盘级别提供...
HA(高可用)系统设计原则
核心数据库 核心数据库采用rac设计，实现负载分担与热备份 应用服务器 应用服务器采用ha设计，实现负载分担与热备份 web服务器 web服务器采用硬件负载均衡设计，实现负载分担与热备份存储系统存储系统采用raid0+1设计----------来自网络的对上述部分术语的解释对rac的介绍：rac，全称real application clusters，译为...
HAWQ技术解析（六） —— 定义对象
和其它关系数据库类似，hawq中有数据库、表空间、表、视图、自定义数据类型、自定义函数、序列等对象。 本篇将简述这些对象的创建与管理。 对hawq中表的存储方式与分布策略等特性的选择，会对数据库性能产生极大的影响，同时这也是一个复杂的话题，将在下一篇单独讨论。 一、创建和管理数据库 hawq中数据库的概念与...
HAWQ技术解析（九） —— 外部数据
大部分外部数据是以hawq外部表的形式进行访问的，但对于hive，除外部表方式，pxf还能够与hcatalog结合直接查询hive表。 pxf内建多个连接器，用户也可以按照pxf api创建自己的连接器，访问其它并行数据存储或处理引擎。 一、安装配置pxf 如果使用ambari安装管理hawq集群，那么不需要执行任何手工命令行安装步骤...
HDFS TO COS 工具
在 github 下载 hdfs to cos 工具并解压缩。 将要同步的 hdfs 集群的 core-site.xml 拷贝到 conf 文件夹中，其中 core-site.xml 中包含 namenode 的配置信息。 编辑配置文件cos_info.conf， 存储桶（bucket）、地域（region）以及 api 密钥信息，其中存储桶的名字，由用户自定义字符串和系统生成 appid 数字串由中...
Zookeeper应用：hadoop的HA简单实现
----hadoop的ha简单说明hadoop的hdfs集群的分布式存储是靠namenode节点（namenode负责响应客户端请求）来实现。 namenode对应整个hadoop来说，无非是很重要的。 在非ha集群中一旦namenode宕机，虽然元数据不会丢失，但整个集群将无法对外提供服务，导致hdfs服务的可靠性不高，这在实际应用场景中显然是不可行的...
Hadoop高可用(HA)集群搭建
原理概述(1) 为什么会有hadoop ha机制? ha：high available，高可用 在hadoop 2.0之前，在hdfs集群中namenode存在单点故障 (spof：a single point of ...需提供一个共享存储系统，可以是nfs、qjm（quorum journal manager）或者zookeeper，activenamenode将数据写入共享存储系统，而standby监听该系统...
HAWQ与Hive查询性能对比测试
说明：内部表结构定义与hive表等价，使用snappy压缩的行存储格式。 6. 生成hawq内部表数据insert into date_dim select * from hcatalog.test.date_dim; insert into browser_dim select * from hcatalog.test.browser_dim; insert into page_dim select * from hcatalog.test.page_dim; insert into referrer_dim ...
HAWQ技术解析（十三） —— 资源管理
确保有足够已注册的segment响应资源请求。 如果失效的segment超过了限制，资源请求被拒绝。 master和segment使用多个独立的大磁盘（2t或以上）的临时目录，例如disk1tmp disk2tmp，保证写临时文件的负载均衡。 对于给定查询，hawq为每个虚拟段使用一个单独的临时目录存储溢出文件。 多个hawq会话也是用自己的临时目录...
HAWQ技术解析（十五） —— 备份恢复
一、为什么还需要备份 hawq作为一个数据库管理系统，备份与恢复是其必备功能之一。 hawq的用户数据存储在hdfs上，系统表存储在master节点主机本地。 hdfs上的每个数据块缺省自带三份副本，而且一个数据块的三份副本不会存储在同一个datanode上，因此一个datanode节点失效不会造成数据丢失。 而配置了hdfs namenode ha...
HAWQ技术解析（十） —— 过程语言
其中除sql和c是hawq的内建语言，其它语言通常被称为过程语言（pls），支持过程语言编程是对hawq核心的功能性扩展。 hawq我所使用过的sql-on-hadoop解决方案中唯一支持过程化编程的，hive、sparksql、impala都没有此功能。 对于习惯了编写存储过程的dba来说，这无疑大大提高了hawq的易用性，冲这点也得给hawq点个赞...
