Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >Impala升级为Apache顶级项目

Impala升级为Apache顶级项目

作者头像
Fayson
修改于 2018-04-01 12:48:16
修改于 2018-04-01 12:48:16
9590
举报
文章被收录于专栏:Hadoop实操Hadoop实操

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

五年前,Cloudera向全世界分享了一个愿景,将通过一个新的SQL引擎Apache Impala(全球第一个也是Hadoop之上最快的MPP SQL引擎)将数十年关系型数据库研究的经验转移到Apache Hadoop平台之上,参考:

http://blog.cloudera.com/blog/2012/10/cloudera-impala-real-time-queries-in-apache-hadoop-for-real/

Impala可以让用户使用SQL对HDFS上的海量数据进行操作,支持多种通用的文件格式比如文本,snappy,gzip,parquet等等。现在它同时支持Apache Kudu,Amazon S3和Microsoft ADLS作为存储。而且它是交互式的,这在以前是不可能。

它的灵活性以及在分析数据库的优秀性能,让全球各大企业大面积使用Impala作为SQL引擎,因为它可以通过SQL为各种BI工具提供支持,导致Impala的第三方工具集成生态系统不断扩大,业界出名的BI或者展现工具都能够直接找到Impala的接口,如Tableau,Qlik等。参考:

https://blog.cloudera.com/blog/2017/04/apache-impala-leads-traditional-analytic-database/

三年前,Cloudera将Impala捐赠给Apache软件基金会,随着最近宣布的Apache顶级项目Kudu,进一步巩固了开源SQL的地位。自提案以来,Impala的开发团队一直努力将Impala融入到Apache孵化器的新的软件治理模式,并建立一个积极创新的社区。这也是为什么我们很高兴的宣布Impala终于毕业成为Apache的顶级项目。参考:

http://blog.cloudera.com/blog/2015/11/impalas-next-step-proposal-to-join-the-apache-software-foundation/

http://kudu.apache.org

https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces24

Cloudera的Jim Cloudera是Apache Impala的重要导师,将担任副总裁,并将继续以Apache的方式指导和发展开源社区。参考:

https://impala.apache.org

https://www.apache.org/foundation/governance/

这不仅是Impala项目及其社区的一个激动人心的时刻,同时也是当前和未来的Impala用户的激动人心的时刻,因为我们会继续致力于扩大Impala的使用规模,改进工作负载管理,为上云持续优化。我们期待与您一起继续推动Impala的未来发展。

以下是一些Impala的资源:

项目网址:https://impala.apache.org

Mailing lists:

User: user@impala.apache.org

Developer: dev@impala.apache.org

讨论论坛:

https://community.cloudera.com/t5/Interactive-Short-cycle-SQL/bd-p/Impala

如何贡献:

https://cwiki.apache.org/confluence/display/IMPALA/Contributing+to+Impala

Issues:

https://issues.apache.org/jira/browse/IMPALA

本文英文原文:

http://blog.cloudera.com/blog/2017/12/apache-impala-is-now-a-top-level-apache-project/

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-12-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
如何在Kerberos环境下使用Spark2通过JDBC访问Impala
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github: https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在前面Fayson介绍了在Kerberos和非Kerberos环境下使用JAVA通过JDBC访问Hive和Impala《如何使用java代码通过JDBC连接Hive》和《如何使用java代码通过JDBC连接Impala》,本篇文章Fayson主要介绍如何在Kerberos环境下使
Fayson
2018/07/12
2.5K0
Impala的Short-Circuit Reads
我们知道读取HDFS的数据需要通过DataNode。当客户端找DataNode读取数据时,DataNode会首先从磁盘中读取文件,然后通过TCP socket将数据传送给客户端。短回路(short-circuit)数据可以绕过DataNode,从而允许客户端直接读取文件。所以当客户端和数据在同一个节点时,短回路(short-circuit)可以明显为很多应用程序提升性能。
Fayson
2018/03/30
2.5K0
如何安装Tableau并连接CDH的Hive/Impala
Tableau是桌面系统中的商业智能工具软件,可以基于不同的数据源生成漂亮的图表。Cloudera与Tableau是互相认证的合作伙伴,在Tableau的数据源配置界面可以直接找到“Cloudera Hadoop”,从而让你很方便的进行安装配置。
Fayson
2018/03/29
5.3K1
如何安装Tableau并连接CDH的Hive/Impala
Hive与Impala对VARCHAR/CHAR存放中文字符解析不一致问题分析
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.异常描述 ---- 首先我们在hive中创建一个表 1create external table test_table 2( 3s1 string, 4s2 CHAR(10), 5s3 VARCHAR(10) 6) 7row format delimited fields terminated by '#
Fayson
2018/04/18
2.5K0
Hive与Impala对VARCHAR/CHAR存放中文字符解析不一致问题分析
Hive与Impala的关键字
Hive有一些保留的关键字,我们在执行一些语句时,不能将这些关键字作为标识符(Identifier),比如建表语句的表名或者字段名,以下我们具体看看什么是Hive中的Identifier。
Fayson
2018/03/29
4K0
Cloudera Enterprise 6 Beta发布
盼星星盼月亮,C6终于来了,虽然是Beta,但没关系,至少可以玩起来了,对吧,哈哈。Cloudera在北京时间5月16日的半夜,在其社区(community.cloudera.com)对外宣布发布Cloudera Enterprise 6,Beta。咱们在5月没有等到CDH5.15,等到C6 beta也是不错的嘛。 C6相较于C5是一次各个组件的大版本升级,可以说是翻天覆地的,简单说你以前期待的Hadoop3的一些激动人心的新功能,C6统统都有了。这次更新是一次革命性的,举世无双的,前无古人后无来者的,是对
Fayson
2018/07/12
7150
Cloudera Labs中的Phoenix
Cloudera Labs在2016-06-27宣布打包了Apache Phoenix项目,版本为4.7.0,并基于CDH5.7.0。安装依旧是大家熟悉的Parcel方式,下载地址为:http://archive.cloudera.com/cloudera-labs/phoenix/parcels/1.3/
Fayson
2018/03/29
2.5K0
Cloudera Labs中的Phoenix
Impala最佳实践
https://blog.cloudera.com/blog/2017/02/latest-impala-cookbook/
Fayson
2018/08/03
1.5K0
Impala最佳实践
5.如何为Impala集成Redhat7的OpenLDAP认证
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在前面的文章Fayson讲了《1.如何在RedHat7上安装OpenLDA并配置客户端》、《2.如何在RedHat7中实现OpenLDAP集成SSH登录并使用sssd同步用户》、《3.如何RedHat7上实现OpenLDAP的主主同步》以及《4.如何为Hive集成RedHat7的O
Fayson
2018/04/18
1.7K0
5.如何为Impala集成Redhat7的OpenLDAP认证
CDH5.14和CM5.14的新功能
Fayson在2017年的10月12日介绍了《CDH5.13和CM5.13的新功能》,今天1月26日,Cloudera正式发布了CDH5.14。三个月零几天,2018年第一次更新比以往时候来的更晚一些,估摸着是老外过年放假导致的吧。本次更新包括集成CDSW1.3,Kudu1.6,Impala2.11等新功能,还修复了大量bug。以下我们看看CDH5.14和CM5.14具体的更新内容。
Fayson
2018/03/29
3.3K0
Hue禁止用户下载数据问题分析
在使用Hue时通过SQL查询Hive和Impala数据或在浏览文件系统时可以通过Hue提供的下载功能下载数据文件,这样会导致任意用户都可以随意下载数据,有数据泄露的风险。通过Sentry集成可以控制用户访问和查看有限的数据或表,但是如何禁止用户通过Hue下载数据呢?
Fayson
2018/03/29
2.5K0
如何使用Sentry实现Hive/Impala的数据脱敏
本文主要描述如何使用Sentry实现数据的脱敏(masking of sensitive data elements),高大上的叫法也就是Data Masking。数据脱敏主要是指将原始数据的全部或者部分敏感值进行替换。这样避免了用户未经授权而直接访问原始的值,并保留了底层数据的schema。
Fayson
2018/03/30
3.2K0
从 Apache Kudu 迁移到 Apache Hudi
在构建本地数据中心的时候,出于Apache Kudu良好的性能和兼备OLTP和OLAP的特性,以及对Impala SQL和Spark的支持,很多用户会选择Impala / Spark + Kudu的技术栈。但是由于Kudu对本地存储的依赖,导致无法支持的数据高可用和弹性扩缩容,以及社区的逐渐不活跃,越来越多的用户,开始迁移到云上的Trino / Spark + Hudi 技术栈,本文通过一个实际的例子,来看一下迁移过程中发生的代码的重构和数据的迁移。
ApacheHudi
2022/12/09
2.3K0
从 Apache Kudu 迁移到 Apache Hudi
如何在Impala中使用Parquet表
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- Parquet是一种列式的二进制文件格式,Impala基于Parquet文件可以高效的处理大型复杂查询。Parquet特别适合扫描表中的特定列的查询,例如查询具有多列的“宽”表,或者对于部分列或者全部列需要做聚合操作(例如SUM()和AVG())。 列式存储,顾名思义就是按照列进行
Fayson
2018/07/12
4.2K0
Cloudera Manager分发Parcel异常分析
在使用Cloudera Manager分发Parcel包时一直处于激活状态不变,相关CM日志及CM界面截图如下:
Fayson
2018/03/29
3.7K0
如何使用HAProxy实现Kerberos环境下的Impala负载均衡
前面Fayson介绍过《如何使用HAProxy实现Impala的负载均衡》,在Kerberos环境HAProxy的配置与非Kerberos环境下是一样的,只是在Impala的配置上需要做一些修改,接下来本篇文件主要讲述如何在Kerberos环境下使用HAProxy实现Impala的负载均衡。
Fayson
2018/03/29
1.7K0
如何使用HAProxy实现Kerberos环境下的Impala负载均衡
使用Hive SQL插入动态分区的Parquet表OOM异常分析
当运行“INSERT ... SELECT”语句向Parquet或者ORC格式的表中插入数据时,如果启用了动态分区,你可能会碰到以下错误,而导致作业无法正常执行。
Fayson
2018/03/30
6.5K0
如何使用java代码通过JDBC访问Sentry环境下的Hive
在前面的文章Fayson介绍了《如何使用java代码通过JDBC连接Hive(附github源码)》、《如何使用java代码通过JDBC连接Impala(附Github源码)》和《如何使用Java访问集成OpenLDAP并启用Sentry的Impala和Hive》,关于Hive和Impala如何启用Sentry可以参考Fayson前面的文章《如何在CDH启用Kerberos的情况下安装及使用Sentry(一)》,《如何在CDH启用Kerberos的情况下安装及使用Sentry(二)》和《如何在CDH未启用认证的情况下安装及使用Sentry》,在集群只启用了Sentry的情况下如何访问?本篇文章主要介绍在集群只启用了Sentry后使用Java通过JDBC访问的区别以及在beeline命令行如何访问。
Fayson
2018/03/29
2.4K0
如何使用java代码通过JDBC连接Impala(附Github源码)
访问Impala的方式很多(如:impala-shell、ODBC、JDBC、Beeline),也可以通过Hue的来访问。关于Beeline方式连接Impala可以参考前面的《如何使用Beeline连接Impala》,本篇文章主要讲述如何使用JAVA代码通过JDBC的方式连接Kerberos和非Kerberos环境下的Impala。
Fayson
2018/03/29
7.1K0
如何使用java代码通过JDBC连接Impala(附Github源码)
CDH5.15和CM5.15的新功能
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github: https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 Fayson在2018年的1月26日介绍了《CDH5.14和CM5.14的新功能》,今天6月15日,Cloudera正式发布了CDH5.15。从5.14到5.15,差不多等待了4个半月的时间,本次更新比以往晚了快2个月的时间。当然Cloudera在中间发布了CDH6的Beta版,参考《Cloudera En
Fayson
2018/07/12
2K0
相关推荐
如何在Kerberos环境下使用Spark2通过JDBC访问Impala
更多 >
领券
社区富文本编辑器全新改版!诚邀体验~
全新交互,全新视觉,新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能,全面提升创作效率和体验
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文