Cloudera Labs中的Phoenix
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
1.导读
Cloudera Labs在2016-06-27宣布打包了Apache Phoenix项目，版本为4.7.0，并基于CDH5.7.0。安装依旧是大家熟悉的Parcel方式，下载地址为：http://archive.cloudera.com/cloudera-labs/phoenix/parcels/1.3/
Fayson这两天亲测了一下，CDH5.12.1也能勉强一用，想知道具体该怎样安装和使用，欢迎关注本公众号明天的文章。
Cloudera Labs说白了就是有群人在“实验室”会研究或者玩玩一些有趣的比如其他Apache的项目，虽然会偶尔打包一些项目，但是官方是不Support的。另外Cloudera Labs也不会保证从旧的Phoenix版本升级到4.7的兼容性。
2.概述
ApachePhoenix是Apache HBase上一个高效的SQL引擎，也挺火的。很多公司都在使用它，比如Salesforce，它开源了这个项目，并将该项目贡献到社区。现在也已经是顶级项目了。
ClouderaLabs在2015-05-06宣布打包Phoenix并集成到CDH平台，本文主要为了描述这几个问题：Phoenix可以做什么？为什么大家想要使用它？和已有的SQL工具相比如何？它的一些优势可以取代现有的一些工具吗？
当然我们首先会先介绍一下Phoenix以及它的一些独特的特性，另外会给出一些它的使用场景以及和其它SQL工具的对比。
3.Apache Phoenix是什么
首先Phoenix是HBase之上的SQL工具，至于HBase是什么，我就不介绍了，你若不懂，就不需要往下继续看了。Phoenix旨在通过标准的SQL语法来简化HBase的使用，并可以使用标准的JDBC连接HBase，而不是通过HBase的Java客户端APIs。它可以让你执行所有的CRUD和DDL操作，比如创建一张表，插入数据以及查询数据。SQL和JDBC可以大大减少用户代码的开发，当然它也提供一些性能优化的手段，通过SQL和JDBC，你可以更方便的将HBase集成到你现有的系统或者工具。
当Phoenix接收到SQL查询后，它会在本地编译成HBase的API，然后推到集群进行分布式的查询或计算。它自动创建了一个元数据库用来存储HBase的表的元数据信息。因为Phoenix是直接调用的HBase的API，coprocessors和自定义的filters，所以对于大量小查询可以实现毫秒级返回，千万级别的数据实现秒级返回。
4.使用场景
Phoenix非常适合HBase的随机访问，它的二级索引特性同时可以让你实现非主键查询的快速返回，而不需要进行全表扫描。它可以让你像传统数据库表的方式创建和管理HBase中的表，同时Phoenix也支持复合主键。
Phoenix可以给Rowkey加盐，从而避免因为简单递增的Rowkey引起的RegionServer热点问题。通过指定不同的租户连接实现数据访问的隔离，从而实现多租户，租户只能访问属于他的数据。
虽然Phoenix有这么多优势，但是它依旧无法替代RDBMS。比如它还有以下限制：
- Phoenix不支持跨行的事务
- 查询优化和join机制比大多数RDBMS要简陋
- 二级索引是通过索引表实现的，主表和索引表的同步会存在问题，虽然只是在一段很短的时间内。所以索引无法完全满足ACID
- 多租户功能比较简单
5.与Hive/Impala的比较
Hive/Impala也可以作为HBase之上的SQL工具。包括Phoenix这3个工具在很多功能上都有一些重叠，比如它们都提供SQL执行以及JDBC驱动
不像Impala和Hive，Phoenix与HBase结合更加紧密，从而可以更好的利用HBase的一些特性，比如coprocessors和skip scans。
- Phoenix的目标是在HBase之上提供一个高效的类关系型数据库的工具，定位为低延时的查询应用。Impala则主要是基于HDFS的一些主流文件格式如文本或Parquet提供探索式的交互式查询。Hive类似于数据仓库，定位为需要长时间运行的批作业。
- Phoenix很适合需要在HBase之上使用SQL实现CRUD，Impala则适合Ad-hoc的分析类工作负载，Hive则适合批处理如ETL。
- Phoenix非常轻量级，因为它不需要额外的服务。
- Phoenix还支持一些高级功能，比如多个二级索引，flashback查询等。无论是Impala还是Hive都无法提供二级索引支持。
以下是比较：
Apache Phoenix | Impala | Hive | |
|---|---|---|---|
语法 | SQL | SQL | HiveQL |
定位 | 为低延时应用在HBase之上提供高效的SQL查询 | 大数据集之上的交互式探索分析 | 批处理比如ETL |
二级索引 | Yes(无法保证ACID) | No | No |
额外的服务 | No | Yes | Yes |
HBase的高级特性 | Yes | No | No |
6.安装
如果需要安装Phoenix，至少需要HBase1.0，从CDH5.4以后开始打包HBase1.0。
1.下载Phoenix的Parcel：http://archive.cloudera.com/cloudera-labs/phoenix/
2.通过Cloudera Manager安装Parcel，首先在Cloudera Manager里配置一个新的Parcel仓库地址，然后下载，分发，激活。
3.如果你想要使用HBase的二级索引功能，在重启HBase服务之前，需要在hbase-site.xml中添加以下内容：
<property>
<name>hbase.regionserver.wal.codec</name>
<value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
</property>4.在激活Phoenix的Parcel包之后，请确认已经重启了HBase的服务。
7.Phoenix的命令行工具
Phoenix的命令行工具在/usr/bin目录下，在使用Phoenix的命令行工具之前，需要配置Java的环境变量。
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
export PATH=$PATH:$JAVA_HOME/bin- phoenix-sqlline.py是执行SQL的命令脚本，在执行该命令之前，你需要指定HBase集群的Zookeeper地址，比如：phoenix-sqlline.py zk01.example.com:2181。如果想要在命令行执行一个SQL文件，可以在命令行直接带上该文件。比如：sqlline.py zk01.example.com:2181 sql_queries.sql
- phoenix-psql.py可以用来加载CSV数据，后面也可以直接带上需要执行的SQL脚本，也可以不加。比如：phoenix-psql.py zk01.example.com:2181 create_stmts.sql data.csvsql_queries.sql
- 性能测试脚本phoenix-performance.py，可以用于一次插入多少行数据。比如：phoenix-psql.py zk01.example.com:2181 100000
8.接下来的工作
Phoenix项目正在调研使用Tephra(来自CASK)来做事务管理，PHOENIX-400。同时也在考虑集成Cost-based的查询优化，PHOENIX-1177。虽然Phoenix支持tracing，http://phoenix.apache.org/tracing.html，但监控和管理工作还有待优化和完善。
9.总结
Phoenix简化了HBase很多场景的使用方式。与Cloudera Labs中的其他工具一样，Cloudera官方不会提供Support，仅供实验使用。如果有任何反馈意见，可以在Cloudera Labs的社区与Cloudera进行反馈和互动。https://community.cloudera.com/t5/Cloudera-Labs/bd-p/ClouderaLabs
10.参考网址
https://blog.cloudera.com/blog/2015/05/apache-phoenix-joins-cloudera-labs/
https://blog.cloudera.com/blog/2015/11/new-apache-phoenix-4-5-2-package-from-cloudera-labs/
https://www.cloudera.com/developers/cloudera-labs.html
https://community.cloudera.com/t5/Cloudera-Labs/bd-p/ClouderaLabs
醉酒鞭名马，少年多浮夸！ 岭南浣溪沙，呕吐酒肆下！挚友不肯放，数据玩的花！ 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操
