展开

关键词

实战phoenix

一 安装部署 1, 下载 http://archive.apache.org/dist/phoenix/ 本文下载的是apache-phoenix-4.12.0-HBase-1.2-bin.tar.gz 2, 安装 解压之后将phoenix-4.12.0-HBase-1.2-server.jar复制到hbase/lib目录下。 在phoenix的bin目录下执行: sqlline.py [zookeeper] . 映射hbase表到phoenix: 比如,在hbase上创建表t1,然后映射到phoenix上,分两步: 1, 创建hbase表 create 't1', {NAME => 'f1', VERSIONS VARCHAR) Hbase表中插入一条数据,phoenix表中查询 put 't1','1001','f1:VAL','lisi' 同时创建hbase和phoenix表: 也可以直接使用cteate

865100

phoenix 索引实践

注意: 对于全局索引在默认情况下,在查询语句中检索的列如果不在索引表中,Phoenix不会使用索引表将,除非使用hint。 ~]# cd /opt/cloudera/parcels/ [root@node00 parcels]# cd APACHE_PHOENIX/lib/phoenix [ root@node00 phoenix]# cp phoenix-4.14.0-cdh5.12.2-client.jar /opt/cloudera/parcels/CDH/jars/ /jars/phoenix-4.14.0-cdh5.12.2-client.jar phoenix-4.14.0-cdh5.12.2-client.jar 索引用法总结 Phoenix 的二级索引主要有两种 索引定义完之后,一般来说,Phoenix自己会判定使用哪个索引更加有效。 但是,全局索引必须是查询语句中所有列都包含在全局索引中,它才会生效。

45230
  • 广告
    关闭

    《云安全最佳实践-创作者计划》火热征稿中

    发布文章赢千元好礼!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    python连接phoenix

    1.方案 这里我们通过Jpype和JayDeBeApi 来连接 2.过程 这里我列出实例代码: import jpype import jaydebeapi import os phoenix_client_jar ="/data/users/huser/phoenix/phoenix-4.3.0-client.jar" args=='-Djava.class.path=%s'% phoenix_client_jar jvm_path=jpype.getDefaultJVMPath() jpype.startJVM(jvm_path,args) conn=jaydebeapi.connect('org.apache.phoenix.jdbc.PhoenixDriver ',['jdbc:phoenix:bj-g2hdp1,bj-g2hdp2,bj-g2hdp3:2181','',''],phoenix_clinent_jar) curs=conn.cursor() sql

    59220

    Phoenix的使用

    phoenix可以处理实时数据 (1)启动数据库的连接 bin/sqlline.py数据库安装服务器ip或主机名:zookeeper的服务端口号 !table查看所有的表使用 ! )创建表 create table hbase_test ( s1 varchar not null primary key, s2 varchar, s3 varchar, s4 varchar 在phoenix 是查看不到的 如果需要在phoenix中操作直接在hbase中创建的表,则需要在phoenix中进行表的映射。 表映射的话,在phoenix中的表与hbase中的表会被同时删除与修改,视图映射中的表删除,hbase中的表不会被删除。 address"varchar); 种情况下,直接使用与第1)种情况一样的createtable语句进行创建即可,这样系统将会自动在Phoenix和HBase中创建person_infomation的表

    36820

    Vertx-Phoenix实践

    Phoenix 大数据的同学肯定对其很了解,是Apache基金会下的顶级工程,Phoenix帮助Hbase提供了SQL语法的支持,让难用的Hbase变得简单易用。 现状 使用HBase作为数据的持久化 场景对接口的TPS要求比较高 操作方式简单 问题与方案 Hbase是一种很好的大数据存储方案,但是其不支持SQL化操作,在开源解决方案中提供了Phoenix方案,文档和社区都比较活跃 实现 只对涉及Phoenix方面进行讲解,通过Scala进行编写 依赖Pom <dependency> <groupId>io.vertx</groupId> <artifactId > <artifactId>vertx-jdbc-client</artifactId> </dependency> <dependency> <groupId>org.apache.phoenix </groupId> <artifactId>phoenix-core</artifactId> <version>4.13.1-HBase-1.3</version> </dependency

    55930

    使用phoenix查询hbase

    下载安装 首先从 apache 下载 phoenix 包,这里因为我的hbase hbase-1.4.9 版,所以我下载的对应的版本 apache-phoenix-4.14.1-HBase-1.4-bin.tar.gz 下载后解压之 apache-phoenix-4.14.1-HBase-1.4-bin.tar.gz tar zxvf apache-phoenix-4.14.1-HBase-1.4-bin.tar.gz 准备 hbase 为了使用 phoenix,需要将 phoenix 目录下的 phoenix-*。 jar 包复制到 hbase 的 lib 目录下,比如: cp apache-phoenix-4.14.1-HBase-1.4-bin/phoenix-*.jar hbase-1.4.9/lib/ 然后重新系统 /start-hbase.sh 连接phoenix 可以使用下面两种方式连接 方式一:直接连接 cd apache-phoenix-4.14.1-HBase-1.4-bin/bin # 默认连接本地hbase

    2.6K40

    Phoenix - Hbase与SQL

    Phoenix是什么 简单来说,Phoenix 是一个可以让我们通过SQL的方式操作HBase数据库的框架。 使用Phoenix的话,就可以使用SQL来查询,便捷高效,同时还可以为HBase添加二级索引,提升查询性能,还有其他一些方便的特性。 Phoenix 支持通过编写JDBC代码来操作HBase,比原生API更方便。 查询表数据: 0: jdbc:phoenix:localhost> select * from WEB_STAT; ? CORE、DB字段是CPU和数据库使用量。 小结 Phoenix 的基础功能就是在 HBase 之上添加了 SQL 层,可以让我们更方便的使用 HBase。

    62960

    Phoenix常见问题

    查找有关Apache Phoenix及其部署的常见问题的答案。 01 Phoenix可以用于ETL用例吗? 是。 典型的Phoenix部署具有以下特点: • 应用 • Phoenix Client / JDBC驱动程序 • HBase客户端 Phoenix客户端/ JDBC驱动程序本质上是一个Java库,您应该在 但是,Phoenix的抽象尚未完成,例如,为了实现访问控制,您需要在包含Phoenix数据的基础HBase表上设置ACL。 ? 03 是否有Phoenix JDBC服务器的大小调整准则? Phoenix在全局索引维护期间执行本地索引以防止死锁:Phoenix还会在索引更新失败时部分地自动重建索引(PHOENIX-1112 )。 07 序列在Phoenix中如何工作? 数据是由Phoenix编码的,因此您必须对数据进行解码才能读取。直接写入HBase表会导致Phoenix损坏。 11 我可以在现有的HBase表上映射Phoenix表吗?

    62930

    FAQ系列之Phoenix

    查找有关 Apache Phoenix 及其部署的常见问题解答。 Phoenix 可以用于 ETL 用例吗? 是的。 Phoenix 在全局索引维护期间执行本地索引以防止死锁。:当索引更新失败时,Phoenix 还会部分自动重建索引 ( PHOENIX-1112 )。 序列如何在Phoenix工作? 我可以在 Phoenix 中进行批量数据加载吗? 是的,您可以在 Phoenix 中进行批量插入。 是的,只要使用 Phoenix 数据类型。您必须使用异步索引并手动更新它们,因为 Phoenix 不会知道任何更新。 Phoenix JDBC URL 语法是什么? 从 Phoenix 2.1 版开始,Phoenix 支持对可变和不可变数据进行索引。请注意,Phoenix 2.0.x 仅支持对不可变数据进行索引。

    29130

    Apache Phoenix安装使用

    官网地址 phoenix https://phoenix.apache.org/language/ 下载地址:http://archive.apache.org/dist/phoenix/ (2)拷贝phoenix-4.3.1-server.jar到Hbase的lib目录下 (3)重启hbase (4)进入phoeinx的bin目录下 (5)执行bin/sqlline.py tables查看所有的表 文档地址: phoenix https://phoenix.apache.org/language/ SQuirrel是一个用Java写的通过jdbc驱动链接各个数据库的图形界面 安装完成后,把phoeinx的client和core的jar包,放入squirrel的安装目录的lib下面,然后双击squirrel-sql.bat启动 test-phoenix jdbc:phoenix :192.168.1.212 org.apache.phoenix.jdbc.PhoenixDriver (1)先建立驱动,通过链接 ?

    1.1K70

    Phoenix快速入门系列(2) | 一文教你如何使用Phoenix

    Phoenix 表操作 1. 显示所有表 !tables # 或者 !table ? Phoenix 表映射 1. Phoenix 表和 HBase 表的关系   默认情况下, 直接在 HBase 中创建的表通过 Phoenix 是查不到的. ? ? 如果要在 Phoenix 中操作直接在 HBase 中创建的表,则需要在 Phoenix 中进行表的映射。 视图映射   Phoenix 创建的视图是只读的, 所以只能用来查询, 无法通过视图对数据进行修改等操作. // 1. 否则 HBase 中添加的数据在Phoenix 中查询不到.

    72910

    Phoenix全局索引设计实践

    文章详情:大数据技术与架构、暴走大数据 概述 全局索引是Phoenix的重要特性,合理的使用二级索引能降低查询延时,让集群资源得以充分利用。本文将讲述如何高效的设计和使用索引。 Phoenix表就是HBase表,而HBase Rowkey都是通过二进制数据的字典序排列存储,也就意味着Row key前缀匹配度越高就越容易排在一起。

    44620

    Cloudera Labs中的Phoenix

    ClouderaLabs在2015-05-06宣布打包Phoenix并集成到CDH平台,本文主要为了描述这几个问题:Phoenix可以做什么?为什么大家想要使用它?和已有的SQL工具相比如何? 3.Apache Phoenix是什么 ---- 首先Phoenix是HBase之上的SQL工具,至于HBase是什么,我就不介绍了,你若不懂,就不需要往下继续看了。 7.Phoenix的命令行工具 ---- Phoenix的命令行工具在/usr/bin目录下,在使用Phoenix的命令行工具之前,需要配置Java的环境变量。 比如:phoenix-psql.py zk01.example.com:2181 100000 8.接下来的工作 ---- Phoenix项目正在调研使用Tephra(来自CASK)来做事务管理,PHOENIX 虽然Phoenix支持tracing,http://phoenix.apache.org/tracing.html,但监控和管理工作还有待优化和完善。

    1.8K90

    Phoenix的使用方式详解

    前文传送门:《Phoenix(凤凰)的安装介绍》 Phoenix使用 先让我们来看看Phoenix的几种方法调用 批处理方式 命令行方式 GUI方式 JDBC调用方式 下面将通过几个实例为大家解释关于这几种方式的使用 <1>批处理方式 A: 创建user_phoenix.sql文件 内容如下 CREATE TABLE IF NOT EXISTS user_phoenix ( state CHAR(2) NOT NULL /bin/psql.py node01:2181 user_phoenix.sql user_phoenix.csv user_phoenix_query.sql 这条命令同时做了三件事:创建表、插入数据 用Hbase shell 看下会发现多出来一个 USER_PHOENIX 表,用scan 命令查看一下这个表的数据 hbase(main):002:0> scan 'USER_PHOENIX' ? 的jdbc地址,注意端口也可以不写,多个用逗号隔开) Class Name:org.apache.phoenix.jdbc.PhoenixDriver D: 连接Phoenix 点击Aiiasses

    52530

    rails, django, phoenix,你们错了

    Phoenix 和 Elixir 大抵也是如此。 在 django / phoenix 上能看得出 rails 的很多影子。 其后有了很多其他语言的跟风者或者学习者,django 不算是第一个, phoenix 也不是最后一个。 rails / django 虽让人诟病,但 phoenix 很高,在 benchmark 中狂胜各大 framework。 架构优秀么?

    50270

    Phoenix(凤凰)的安装介绍

    本篇博客,小菌为大家带来的是关于Phoenix的入门介绍及安装说明。 Phoenix 介绍 phoenix,中文译为凤凰,是不是一个很美的名字吖(~ ̄▽ ̄)~ 。 但是Hive和Impala还可以查询文本文件,Phoenix只能查Hbase。 Phoenix是构建在HBase之上的SQL引擎。 我们可以通过网址https://phoenix.apache.org/来访问Phoenix的官网。 ? 在对有了一个Phoenix 大致的了解之后,让我们来进行Phoxnix的安装部署。 1) 将phoenix目录下的phoenix-4.14.0-cdh5.14.2-server.jar拷贝到各个 hbase的lib目录下。 SYSTEM为Phoenix系统表,系统表中维护了用户表的元数据信息。 ? 退出Phoenix。输入!quit 或!q ?

    36830

    SpringSpring Boot 整合 Mybatis + Phoenix

    ,完整代码见本仓库: Spring + Mybatis + Phoenix SpringBoot + Mybatis + Phoenix 二、Spring + Mybatis + Phoenix 2.1 --phoenix core--> <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core =org.apache.phoenix.jdbc.PhoenixDriver # zookeeper地址 phoenix.url=jdbc:phoenix:192.168.0.105:2181 2.4 --Phoenix 配置--> <property name="driverClassName" value="${<em>phoenix</em>.driverClassName}"/> --phoenix core--> <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core

    9720

    phoenix二级索引

    如果Phoenix系统目录表在发生故障时无法到达,phoenix强制服务器立即中止并失败,在JVM上调用System.exit,强制服务器死机。 从Phoenix 4.8.0开始,不需要更改配置就可以使用本地索引。 默认:30 性能 Phoenix性能测试结果:https://phoenix-bin.github.io/client/performance/latest.htm。 my_table -it my_index -o 也可以使用phoenix-core或phoenix-server jar从Hadoop运行,如下所示: HADOOP_CLASSPATH = $(hbase 审查工具(PHOENIX-4270)不支持快照读取。

    2.2K90

    如何在CDH中使用Phoenix

    1.文档编写目的 ---- 昨天我们简单介绍了一下Apache Phoenix,请参考Cloudera Labs中的Phoenix。 内容概述 1.安装及配置Phoenix 2.Phoenix的基本操作 3.使用Phoenix bulkload数据到HBase 4.使用Phoenix从HBase中导出数据到HDFS 测试环境 1.CDH5.11.2 /cloudera-labs/phoenix/parcels/latest/CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel http ://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0 /lib/phoenix/phoenix-4.7.0-clabs-phoenix1.3.0-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool

    5.5K80

    Apache Phoenix 的安装与使用

    Apache Phoenix 是 HBase 的开源 SQL 皮肤,可以使用标准的JDBC 的APIs去代替常规的HBase 客户端的APIs去创建表,插入数据和查询HBase数据。 安装 下载解压apache-phoenix-5.0.0-HBase-2.0 添加phoenix-5.0.0-HBase-2.0-server.jar、phoenix-core-5.0.0-HBase-2.0 .jar到$HBASE_HOME/lib下 重启HBase $HBASE_HOME/bin/stop-hbase.sh && $HBASE_HOME/bin/start-hbase.sh 添加Phoenix 到PATH中,这里我的Phoenix在/opt/phoenix下 echo -e 'export PHOENIX_HOME=/opt/phoenix\nexport PATH=$PHOENIX_HOME /bin:$PATH' >> ~/.bash_profile 开始使用Phoenix 在命令行中使用Phoenix,使用下面的命令启动sqlline sqlline.py localhost 启动之后如下图所示

    1.5K60

    扫码关注腾讯云开发者

    领取腾讯云代金券