令人惊讶的是，Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分，以及它们各自具有的意义。 对于Hadoop你需要了解的最重要的事情就是，它不再是原来的Hadoop。 这
Apache Phoenix主要是基于HBase一款软件, 提供了一种全新(SQL)的方式来操作HBase中数据, 从而降低了使用HBase的门槛, 并且 Phoenix提供了各种优化措施
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
一 基础架构详解 1 概念 讲调优之前，需要大家深入了解phoenix的架构，这样才能更好的调优。 Apache Phoenix在Hadoop中实现OLTP和运营分析，实现低延迟应用是通过结合下面两个优势： 具有完整ACID事务功能的标准SQL和JDBC API的强大功能 通过利用HBase作为后台存储，为NoSQL世界提供了late-bound, schema-on-read灵活的功能。 Apache Phoenix与其他Hadoop产品完全集成，如Spark，Hive，Pig，Flume和Map
Hadoop在过去的几年里已经变得很成熟了。下面的图1-2显示了Hadoop生态系统堆栈。Apache Phoenix是HBase的SQL包装，它需要基本的HBase理解，在某种程度上，还需要理解它原生的调用行为。了解其他Hadoop生态系统组件以及HBase，将有助于更好地理解大数据领域，并利用Phoenix及其最佳可用特性。在本章中，我们将概述这些组件及其在生态系统中的位置。
SQL 是一门 ANSI 的标准计算机语言，用来访问和操作数据库系统。SQL 语句用于取回和更新数据库中的数据。
Cloudera Labs在2016-06-27宣布打包了Apache Phoenix项目，版本为4.7.0，并基于CDH5.7.0。安装依旧是大家熟悉的Parcel方式，下载地址为：http://archive.cloudera.com/cloudera-labs/phoenix/parcels/1.3/
HBase是大数据NoSQL领域里非常重要的分布式KV数据库，是一个高可靠、高性能、高伸缩的分布式存储系统，目前国内知名公司都有在大规模使用，社区也非常活跃。本文就是学习HBase的敲门砖，主要从以下几个方面解读HBase。
本文介绍了详细了HBaseSQL，Phoinix和Spark的架构，适用性以及优缺点，并在最后规划出未来将要设计的一款更符合用户需求的产品。
提起大数据，不得不提由IBM提出的关于大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），而对于大数据领域的从业人员的日常工作也与这5V密切相关。大数据技术在过去的几十年中取得非常迅速的发展，尤以Hadoop和Spark最为突出，已构建起庞大的技术生态体系圈。 首先通过一张图来了解一下目前大数据领域常用的一些技术，当然大数据发展至今所涉及技术远不止这些。
本文简单梳理下其中一个应用比较广的HBASE的生态，可能不全，有更多的请大家留言。具体HBASE的基本原理扫描大家可以自行百度下，另外，要系统掌握HBASE，推荐看下《HBASE权威指南》。 1 Kerberos 什么是Kerberos？ Kerberos is a network authentication protocol. It is designed to provide strong authentication for client/server applications by using s
Vertx是一个高效的异步框架，支持Java、Scala、JavaScript、Kotlin等多种语言。在非性能调优的场景下，TPS可以高达2-3万，同时，支持多种数据源也提供了异步支持。
伴随着技术的不断发展与进步，我们会接触和使用越来越多的数据源。从经久不衰的MySQL、Oracle、SQLserver、DB2等关系数据库，到方兴未艾的MongoDB、Redis、Cassandra等NoSQL产品，再到屡见不鲜的各种大数据组件，如Hive、Impala、HBase、Phoenix、Spark，以及林林总总的时序数据库、全文检索系统、图数据库等等。如果有一个Client，能够连接所有这些数据源，并将常规开发环境（如SQL脚本）都集中在一个GUI中，则必将为技术人员节省大量寻找并熟悉相应工具的时间，从而提高工作效率。正所谓工欲善其事，必先利其器，本篇介绍的DBeaver正是这样一款工具软件。
前提Hadoop+Hbase集群已经能够正常运转，如果不知道如何安装，请查看如下两篇文章： Hadoop安装 http://qindongliang.iteye.com/blog/2222145 Hbase安装 http://qindongliang.iteye.com/blog/2095733 框架版本： Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Zookeeper3.4.6 Centos6.5 Apache Ant1.9.5
Hadoop生态系统主要包括：Hive、HBase、Pig、Sqoop、Flume、ZooKeeper、Mahout、Spark、Storm、Shark、Phoenix、Tez、Ambari。
在SQL查询语言中，TOP子句是一个非常有用的功能，它允许我们从数据库中提取指定数量的顶部数据记录。本文将深入探讨SQL TOP子句的使用方法，以及在实际应用中的一些常见场景和技巧。
大数据时代，数据的价值越来越被重视，企业从海量大数据中挖掘所需要的信息，用来驱动业务决策以获得更大的商业价值。
在SQL查询语言中，ORDER BY子句是一项重要的功能，它允许我们按照指定的列或表达式对查询结果进行排序。本文将详细介绍SQL ORDER BY子句的用法、常见排序方式以及在实际应用中的应用场景。
大数据已然成为当今最热门的技术之一，正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术。 1 Hadoop 高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。 2 Spark 使用简单、支持所有重要的大数据语言（Scala、Python、Java、R）。拥有强大的生态系统，成长迅速，对microbatching/batching/SQL支持
大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。
大数据分析Storm:Apache Storm是一种开源的分布式实时计算系统。Storm加速了流数据处理的过程，为Hadoop批处理提供实时数据处理。 Spark:Spark是一个兼容Hadoop数据源的内存数据处理平台，运行速度相比于HadoopMapReduce更快。Spark适合机器学习以及交互式数据查询工作，包含Scala、Python和JavaAPI，这更有利于开发人员使用。 Twitter流处理工具Summingbird:与Storm和Scalding相似，开发者可以使用非常接近原生的Scala
Apache Phoenix是Apache HBase上一个高效的SQL引擎，很多公司都在使用它，比如Salesforce，它开源了这个项目，并将该项目贡献到社区。很早也已经是顶级项目了。大家知道HDP中一直都包含Phoenix，老的CDH源生是不包含Phoenix的，但是Apache Phoenix社区对于C5的各个版本其实都有发布Parcel，但是这个不受Cloudera官方支持，参考Fayson之前的文章《0308-如何在CDH5.14.2中安装Phoenix4.14.0》。现在Cloudera和Hortonworks合并以后，两边的产品也进行了合并，如之前介绍的CFM，CEM集成到CDH，现如今Phoenix也包含到了CDH中，Cloudera官方会提供支持。本文Fayson会对Phoenix做一个简单介绍后，然后介绍如何在CDH5.16.2中安装和使用Phoenix。
这篇博客文章是CDP中Cloudera的运营数据库（OpDB）系列文章的一部分。每篇文章都会详细介绍新功能。从该系列的开头开始，请参阅《CDP中的运营数据库》，《运营数据库系列之可访问性》，《运营数据库系列之管理篇》，《运营数据库系列之高可用性》，《运营数据库系列之数据完整性》，《运营数据库系列之NoSQL和相关功能》，《运营数据库系列之应用支持》。
本篇博客,小菌为大家带来的是关于Phoenix的入门介绍及安装说明。
HBase 深入浅出 HBase 在大数据生态圈中的位置 提到大数据的存储，大多数人首先联想到的是 Hadoop 和 Hadoop 中的 HDFS 模块。大家熟知的 Spark、以及 Hadoop 的 MapReduce，可以理解为一种计算框架。而 HDFS，我们可以认为是为计算框架服务的存储层。因此不管是 Spark 还是 MapReduce，都需要使用 HDFS 作为默认的持久化存储层。那么 HBase 又是什么，可以用在哪里，解决什么样的问题？简单地，我们可以认为 HBase 是一种类似于数据库的存储
在工单详情可快速提交相同SQL内容到其他实例，可适用于test>beta>ga等多套环境维护的需求
Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。 Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。 Phoenix通过以下方式使我们可以少写代码，并且性能比我们自己写代码更好：
之前对于使用Phoenix查询Hbase大表数据一直卡死，于是搁置了好久，昨晚终于尝试了一下，完美搞定，本节文章来使用4种方法对比Hbase查询性能。
Apache Calcite是一个动态数据管理框架，它具备很多典型数据库管理系统的功能，比如SQL解析、SQL校验、SQL查询优化、SQL生成以及数据连接查询等，但是又省略了一些关键的功能，比如Calcite并不存储相关的元数据和基本数据，不完全包含相关处理数据的算法等。
因为我们之前已经创建了 MOMO_CHAT:MSG 表，而且数据添加的方式都是以PUT方式原生API来添加的。故此时，我们不再需要再使用Phoenix创建新的表，而是使用Phoenix中的视图，通过视图来建立与HBase表之间的映射，从而实现数据快速查询。
文章简介：Phoenix是一个开源的HBASE SQL层。它不仅可以使用标准的JDBC API替代HBASE client API创建表，插入和查询HBASE，也支持二级索引、事物以及多种SQL层优化。
背景 对接业务类型 HBase是建立在Hadoop生态之上的Database，源生对离线任务支持友好，又因为LSM树是一个优秀的高吞吐数据库结构，所以同时也对接了很多线上业务。在线业务对访问延迟敏感，并且访问趋向于随机，如订单、客服轨迹查询。离线业务通常是数仓的定时大批量处理任务，对一段时间内的数据进行处理并产出结果，对任务完成的时间要求不是非常敏感，并且处理逻辑复杂，如天级别报表、安全和用户行为分析、模型训练等。 多语言支持 HBase提供了多语言解决方案，并且由于滴滴各业务线RD所使用的开发语言各有偏好
本文主要介绍HBase在滴滴内部的一些典型使用场景，如何设计整个业务数据流，让平台开发者与用户建立清晰、明确、良好的合作关系 背景 对接业务类型 HBase是建立在Hadoop生态之上的Database，源生对离线任务支持友好，又因为LSM树是一个优秀的高吞吐数据库结构，所以同时也对接了很多线上业务。在线业务对访问延迟敏感，并且访问趋向于随机，如订单、客服轨迹查询。离线业务通常是数仓的定时大批量处理任务，对一段时间内的数据进行处理并产出结果，对任务完成的时间要求不是非常敏感，并且处理逻辑复杂，如天级别报表、
因为没有建立索引，组合条件查询效率较低，而通过使用Phoenix，我们可以非常方便地创建二级索引。Phoenix中的索引，其实底层还是表现为HBase中的表结构。这些索引表专门用来加快查询速度。
1. 什么是实时分析（在线查询）系统？ 大数据领域里面，实时分析（在线查询）系统是最常见的一种场景，通常用于客户投诉处理，实时数据分析，在线查询等等过。因为是查询应用，通常有以下特点： a. 时延低（秒级别）。 b. 查询条件复杂（多个维度，维度不固定），有简单（带有ID)。 c. 查询范围大（通常查询表记录在几十亿级别）。 d. 返回结果数小（几十条甚至几千条）。 e. 并发数要求高（几百上千同时并发）。 f. 支持SQL（这个业界基本上达成共识了，原因是很难找到一个又会数据分析，还能写JAVA代码的分析
“ Apache Flink,Spark,Hadoop包括其他计算框架都趋向于使用SQL的方式对数据进行检索。很少再有通过代码的方式进行数据的操作。数据计算框架使用SQL解释器的方式对数据进行检索。Apache Flink提供了Table API 与SQL的方式实现统一的流处理与批处理的数据计算。使用DataFrame关系型编程接口，其强大且灵活的表达能力、丰富的接口有效降低用户的使用成本。”
是的。Apache Phoenix 用于 OLTP（在线事务处理）用例，而不是 OLAP（在线分析处理）用例。不过，您可以将 Phoenix 用于实时数据摄取作为主要用例。
HBase是一个开源的非关系型分布式数据库，设计初衷是为了解决大量结构化数据存储与处理的需求。
Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo! Doug Cutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让其一度陷入困境——批处理的工作方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地。因此，各
Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。
好多初入学习大数据的人不是很清楚，今天分享一个图，并介绍一下大致的组件，其他还有一些组件是没有包含在其中的，但是大部分这个图片是有了的。
要想明白为什么产生 HBase，就需要先了解一下 Hadoop 存在的限制？Hadoop 可以通过 HDFS 来存储结构化、半结构甚至非结构化的数据，它是传统数据库的补充，是海量数据存储的最佳方法，它针对大文件的存储，批量访问和流式访问都做了优化，同时也通过多副本解决了容灾问题。
Apache Phoenix 是 HBase 的开源 SQL 皮肤，可以使用标准的JDBC 的APIs去代替常规的HBase 客户端的APIs去创建表，插入数据和查询HBase数据。
本篇博客小菌为大家分享的是关于Phoenix的使用方式与常用shell。
在 4.4-4.14 和5.0 releases 中 query server 及其 JDBC client 是内置的.
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
