Apache Drill主要特征 低延迟 SQL 查询 对文件（例如 JSON、Parquet、文本）和 HBase 表中的自描述数据进行动态查询，而无需在 Hive 元存储中定义元数据。...就地查询复杂的半结构化数据 使用 Drill 的无模式 JSON 模型，您可以就地查询复杂的、半结构化的数据。 无需在查询执行之前或期间展平或转换数据。...您可以使用现有的工具，例如 Tableau、MicroStrategy、QlikView 和 Excel。 Hive 表的交互式查询 Apache Drill 让您可以利用您在 Hive 上的投资。...您可以使用 Drill 在 Hive 表上运行交互式查询并访问所有 Hive 输入/输出格式（包括自定义 SerDes）。...您可以连接与不同 Hive 元存储关联的表，也可以连接 Hive 表与 HBase 表或日志文件目录。
在此基础上，Drill不仅支持行业标准的 ANSI SQL，做到开箱即用和快速上手，还支持大数据生态的集成，如 Apache Hive 和 Apache Hbase 等存储系统，即插即用的部署方式。...Apache Drill 关键特性 低延迟的SQL查询。 直接对自描述数据进行动态查询而无需提前定义Schema，如 JSON、Parquet、TEXT 和 Hbase等。...Drill的虚拟数据集可以将复杂的NoSQL数据结构对应到兼容BI的结构，帮助用户挖掘和可视化数据。 交互式查询Hive表 Drill可以充分利用Hive中存在的资源。...您可以使用Drill在Hive表上运行交互式查询和分析，并且能够访问Hive的所有输入和输出格式（包含自定义 SerDes）。...不仅可以连接不同的Hive元存储所包含的表，还可以将异构数据源的表进行连接（联邦查询特性），比如将Hive表关联（Join）Hbase表或文件系统中的日志目录等。
简介 命名空间是表的逻辑分组，类似于关系数据库系统中的数据库。这种抽象为多租户相关功能奠定了基础： 配额管理(HBASE-8410）：限制一个命名空间可以使用的资源(Region或者Table等)。...删除命名空间属性： alter_namespace 'ns1', {METHOD => 'unset', NAME=>'PROPERTY_NAME'} 2.5 在命名空间中创建表 创建命名空间后，我们可以在该命名空间上创建表...0.9023 seconds => Hbase::Table - ns1:test 2.6 查看给定命名空间所有可用的表 可以使用 list_namespace_tables 命令列出给定命名空间下所有可用的表...2.7 删除命名空间 可以使用 drop_namespace 命令删除表中存在的命名空间。...我们只能删除空的命名空间。如果删除包含表的命名空间，必须先把该命名空间下创建的表删除。
③namespace ：命名空间，理解为Java中的包 hbase中的表看成是Java中的类 换句话说，namespace就是保存表的一个逻辑上的路径 2....查看命名空间的结构 drop_namespace 删除命名空间 list_namespace 查看HBase中所有的命名空间 list_namespace_tables 查看指定的命名空间中的所有表.../所有表失效 enable/enable_all 使表生效 drop/drop_all 删除表 exists 判断表是否存在 is_disabled/is_enabled 是否失效/生效 list 查询...，也可以修改添加删除表的属性# 1.修改指定表的指定列簇的属性hbase(main):005:0> alter 'ns1:t1',NAME =>'f1',VERSIONS =>10Updating all...scan命令：多行查询数据 # 查询指定命名空间中的指定表的所有数据hbase(main):025:0> scan 'ns1:t1'ROW COLUMN+CELL
从MongoDB，HBase，Cassandra和Apache的Spark，SlamData同大多数业界标准的外部数据源可以方便的进行整合，并进行数据转换和分析数据。...Drill专为嵌套数据的低延迟分析设计，它有一个明确的设计目标，灵活的扩展到10000台服务器来处理查询记录数据，并支持兆级别的数据记录。...Drill使用ANSI 2003 SQL的查询语言为基础，所以数据工程师是没有学习压力的，它允许你连接查询数据并跨多个数据源（例如，连接HBase表和在HDFS中的日志）。...最后，Drill提供了基于ODBC和JDBC接口以和你所喜欢的BI工具对接。 10. HBASE ? HBase在今年的里程碑达到1.X版本并持续改善。...在他的特性更新方面包括扫描器更新，保证提高性能，使用HBase作为流媒体应用像Storm和Spark持久存储的能力。HBase也可以通过Phoenix项目来支持SQL查询，其SQL兼容性在稳步提高。
您可以使用Java客户端API对Apache HBase表执行操作。您可以开发可用于创建表，插入数据的Java应用程序。本机Java客户端API提供了编程访问。...Apache Phoenix对Apache HBase进行了超级优化，而不是针对各种体系结构（认为Drill）进行了优化，并且支持SQL ANSI-92标准。...您可以通过其标准JDBC API以典型的DDL / DML语句的形式创建Apache HBase表并与之交互。...您必须在创建表时定义列系列，但是以后可以动态添加列。Apache HBase的此功能允许您在列族中添加新列，并更改应用程序以开始使用该新列。...您可以使用REST服务器创建，删除表，以及执行其他具有REST端点的操作，这些端点在此处的表中有所描述：http : //hbase.apache.org/book.html#_using_rest_endpoints
与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(Hue Beeswax)，可以直接在HDFS或HBase上提供快速、交互式SQL查询。...Engine三部分组成)，可以直接从HDFS或者HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。...直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoenix完全托管在GitHub之上。...Apache Drill 代码托管地址： GitHub 本质上，Apache Drill是Google Dremel的开源实现，本质是一个分布式的mpp查询层，支持SQL及一些用于NoSQL和...Drill的目的在于支持更广泛的数据源、数据格式及查询语言，可以通过对PB字节数据的快速扫描(大约几秒内)完成相关分析，将是一个专为互动分析大型数据集的分布式系统。 10.
一、HBase原理 1、数据模型 1 ） Name Space 命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。...HBase有两个自带的命名空间，分别是 hbase 和 default，hbase 中存放的是 HBase 内置的表，default 表是用户默认使用的命名空间。...2 ） Region 类似于关系型数据库的表概念。不同的是，HBase 定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往 HBase 写入数据时，字段可以动态、按需指定。...所以在系统出现故障的时候，数据可以通过这个日志文件重建。（HLog） 4、HBase写流程 ?...二、HBase API使用（Java） 1、添加依赖 xml org.apache.hbase</groupId
Hive：用于Hadoop的一个数据仓库系统，它提供了类似于SQL的查询语言，通过使用该语言，可以方便地进行数据汇总，特定查询以及分析。...领导着Apache Drill项目，是Google的Dremel的开源实现，目的是执行类似SQL的查询以提供实时处理。 原理篇 数据存储 我们的目标是做一个可靠的，支持大规模扩展和容易维护的系统。...使用了一种类似于SQL数据库查询优化的方法，这也是它与当前版本的Apache Spark的主要区别。它可以将全局优化方案应用于某个查询之上以获得更佳的性能。...Impala Cloudera公司主导开发的新型查询系统，它提供SQL语义，能够查询存储在Hadoop的HDFS和HBase中的PB级大数据，号称比Hive快5-10倍，但最近被Spark的风头给罩住了...Drill Apache社区类似于Dremel的开源版本—Drill。一个专为互动分析大型数据集的分布式系统。 Druid 在大数据集之上做实时统计分析而设计的开源数据存储。
Drill专为嵌套数据的低延迟分析设计，它有一个明确的设计目标，灵活的扩展到10000台服务器来处理查询记录数据，并支持兆级别的数据记录。...Drill使用ANSI 2003 SQL的查询语言为基础，所以数据工程师是没有学习压力的，它允许你连接查询数据并跨多个数据源（例如，连接HBase表和在HDFS中的日志）。...最后，Drill提供了基于ODBC和JDBC接口以和你所喜欢的BI工具对接。 10. HBASE HBase在今年的里程碑达到1.X版本并持续改善。...在他的特性更新方面包括扫描器更新，保证提高性能，使用HBase作为流媒体应用像Storm和Spark持久存储的能力。HBase也可以通过Phoenix项目来支持SQL查询，其SQL兼容性在稳步提高。...Kylin使用Hive和MR来构建立方体，Hive用作预链接，MR用作预聚合，HDFS用来储存构建立方体时的中间文件，HBase用来存储立方体，HBase的coprocessor（协处理器）用来响应查询
以前只用过Hive与impala两个类SQL查询系统，最近又将Hortonworks开源的Stinger与Apache的Drill做了些调研。累死累活搞了一天的资料，头都大了。...这样也造就了impala开发的比较快速，虽然到现在才一年左右的时间，但是impala已经可以很稳定的运行。 impala主要是为hdfs与hbase数据提供实时SQL查询。...不过因为impala使用的是C开发的，所以impala还是鼓励大家写一个c下面的udf来提高性能。 drill 开源时间跟impala差不多，只不过属于Apache,。...它的数据接口都是插件化，理论上支持各种查询语言，SQL自然也不例外，不过目前这个系统还是Apache的一个孵化项目，很多功能尚未完成与稳定。但是可以预见，这个系统如果完成是很有影响力的。...SQL查询系统，也是声称可以提升较hive 100倍的速度（悲崔的hive，都拿它来当反面教材）。
Hive：用于Hadoop的一个数据仓库系统，它提供了类似于SQL的查询语言，通过使用该语言，可以方便地进行数据汇总，特定查询以及分析。...领导着Apache Drill项目，是Google的Dremel的开源实现，目的是执行类似SQL的查询以提供实时处理。 原理篇 数据存储 我们的目标是做一个可靠的，支持大规模扩展和容易维护的系统。...使用了一种类似于SQL数据库查询优化的方法，这也是它与当前版本的Apache Spark的主要区别。它可以将全局优化方案应用于某个查询之上以获得更佳的性能。 Kafka ?...Impala Cloudera公司主导开发的新型查询系统，它提供SQL语义，能够查询存储在Hadoop的HDFS和HBase中的PB级大数据，号称比Hive快5-10倍，但最近被Spark的风头给罩住了...Drill Apache社区类似于Dremel的开源版本—Drill。一个专为互动分析大型数据集的分布式系统。 Druid 在大数据集之上做实时统计分析而设计的开源数据存储。
它是一个开源的Java项目，能够将SQL转换成一系列可以在标准的Hadoop TaskTrackers上运行的MapReduce任务。 Hive通过一个metastore存储表模式、分区和位置。...SQL-on-HBase: Phoenix Phoenix是构建在HBase上的一个SQL层，是内嵌在HBase中的JDBC驱动，能够让用户使用标准的JDBC来操作HBase。...Phoenix使用JAVA语言进行编写，其查询引擎会将SQL查询语句转换成一个或多个HBase Scanner，且并行执行生成标准的JDBC结果集。...如果需要对HBase进行复杂的操作，那么应该使用Phoenix，其会将SQL语句转换成HBase相应的API。...旨在提供功能强大但轻量级的SQL接口，实时执行类SQL的查询。
Hive：用于Hadoop的一个数据仓库系统，它提供了类似于SQL的查询语言，通过使用该语言，可以方便地进行数据汇总，特定查询以及分析存放在Hadoop兼容文件系统中的大数据。...领导着Apache Drill项目，是Google的Dremel的开源实现，目的是在Hadoop数据上执行类似SQL的查询以提供实时处理。...Impala Cloudera公司主导开发的新型查询系统，它提供SQL语义，能够查询存储在Hadoop的HDFS和HBase中的PB级大数据，号称比Hive快5-10倍，但最近被Spark的风头给罩住了...Drill Apache社区类似于Dremel的开源版本—Drill。一个专为互动分析大型数据集的分布式系统。 Druid 在大数据集之上做实时统计分析而设计的开源数据存储。...，它还支持不同的硬件平台，如果想速度更快，可以使用SSD。
与此同时，出现了越来越多的大数据技术帮助企业进行大数据分析，例如 Apache Hadoop，Hive，Spark，Presto，Drill，以及今天我们即将介绍的 Apache Kylin 和 Apache...了解 Apache Kylin 和 Apache Phoenix 的同学都知道，它们都是使用 Apache HBase 做数据存储和查询，那么，同为 HBase 上的 SQL 引擎，它们之间有什么不同呢...Phoenix 直接使用 HBase API，以及协处理器和自定义过滤器，从而使得查询的效率更好。对于查询，Phoenix 可以根据 region 的边界进行分块并在客户端并行运行以减少延迟。...为了使得查询效率更高，Phoenix 可以在表上加索引，不同的索引有不同的适用场景：全局索引适用于大量读取的场景，且要求查询中引用的所有列都包含在索引中；本地索引适用于大量写入，空间有限的场景。...图5 单表对比图 图 5 是一个单表查询场景的分析，从上我们可以看出， 针对于一张表的查询，Phoenix 查询的耗时是 Kylin 的几十甚至是几百倍，加入索引后，Phoenix 的查询速度有了较为显著的提升
笔记整理自 1 HBase 定义 Apache HBase 是以 hdfs 为数据存储的，一种分布式、可扩展的 NoSQL 数据库。...最终 HBase 关于数据模型和 BigTable 的对应关系如下： HBase 使用与 Bigtable 非常相似的数据模型。用户将数据行存储在带标签的表中。...HBase 物理存储结构 2.3 数据模型 1）Name Space 命名空间，类似于关系型数据库的 database 概念，每个命名空间下有多个表。...HBase 两 个自带的命名空间，分别是 hbase 和 default，hbase 中存放的是 HBase 内置的表，default表是用户默认使用的命名空间。...2）Table 类似于关系型数据库的表概念。不同的是，HBase 定义表时只需要声明列族即可，不需 要声明具体的列。因为数据存储时稀疏的，所有往 HBase 写入数据时，字段可以 动态、按需指定。
Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。...address" varchar); 删除视图 drop view "test"; 4）表映射 使用Apache Phoenix创建对HBase的表映射，有两种方法： HBase中不存在表时，可以直接使用...当HBase中已经存在表时，可以以类似创建视图的方式创建关联表，只需要将create table改为create view即可。...1.创建单个字段的全局索引 CREATE INDEX my_index ON my_table (my_col); 如果想查询的字段不是索引字段的话索引表不会被使用，也就是说不会带来查询速度的提升。...CATALOG"; 查看表的 TABLE_SCHEM 发现有些表这个属性为空。 那么如果你没有指定自动映射命名空间，就会报错。
开源数据库引擎 Cloudera Impala，Apache Drill 和 Facebook的 Presto 都在2014年应运而生。...你可以使用 Kylin 所提供的立方体设计器来定义立方体，并启动一个离线进程来构建它们。离线进程会进行一个预连接的步骤，将事实表和维度表连接到一个扁平化的结构中。...查询引擎（基于 Apache Calcite）会决定目标数据集是否在 HBase 中存在。如果存在，该引擎会直接访问 HBase 中的目标数据，以次秒级延迟返回结果。...如果目标数据集不存在，该引擎会将这些查询转向 Hive（或者是集群中任何其它可以用 SQL 查询 Hadoop 的方案）。...另外还值得一提的是，其中一些数据库产品还使用了类似 Cassandra 和 HBase 的分布式数据库作为他们的底层存储引擎。
Hive整合HBase后的使用场景： （一）通过Hive把数据加载到HBase中，数据源可以是文件也可以是Hive中的表。 （二）通过整合，让HBase支持JOIN、GROUP等SQL查询语法。...（三）通过整合，不仅可完成HBase的数据实时查询，也可以使用Hive查询HBase中的数据完成复杂的数据分析。...然后查看hive和hbase中的表是否删除了 输入: drop table t_student; 通过这些可以看到hive和hbase之间的数据成功同步！...输入: select * from t_student t join t_student ti where t.id=ti.id ; 说明:通过关联查询，可以得出表之间是可以关联查询的。...在查询一张表的时候，hive没有使用引擎，因此相对比较快，如果是进行了关联查询之类的，就会使用引擎，由于hive默认的引擎是mr，所以会很慢，也和配置有一定关系，hive2.x以后官方就不建议使用mr了
稀疏性是 HBase 中的一个突出的特点，在其他数据库中，对于空值的处理一般都会填充 null，对于成百上千万列的表来说，通常会存在大量的空值，如果使用填充 null 的策略，势必会造成大量空间的浪费。...而对于 HBase 空值不需要任何填充，因此稀疏性是 HBase 的列可以无限扩展的一个重要的条件。...行式存储在获取一行数据时是很高效的，但是如果某个查询只需要读取表中指定列对应的数据，那么行式存储会先取出一行行数据，再在每一行数据中截取待查找目标列。...和其他 RDBMS 表不同，HBase 中的表通常都是分布式存储，ZooKeeper 可以通过特定机制实现分布式表锁。...随着时间的推移，同一个 Store 下的 HFile 会越来越多，文件太多会影响 HBase 查询性能，主要体现在查询数据的 IO 次数增加。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
