首页
学习
活动
专区
工具
TVP
发布

飞总聊IT

专栏成员
562
文章
518850
阅读量
87
订阅数
Facebook的开源Native大数据引擎Velox能成为我说的又好又快的Native引擎吗?
新粉请关注我的公众号 昨天公众号的文章:这个大数据开源项目多半要黄,但我希望它能成。。。写了以后,后台留言最多的就是问我怎么看Facebook的Velox这个开源native引擎。 其中,有该团队的人说,Gluten也和他们合作,现在已经基本上能够替换Facebook内部的Presto了,Spark的替换还在开发中。 这个问题的答案,说实话,我也不知道。我没研究过它的代码。所以我也没有什么发言权。相比较而言,ClickHouse我还真的看过一些源代码,懂得多一点。所以多少能扯上几句。 但是我如果就这样回答了
用户1564362
2022-08-29
9710
这个大数据开源项目多半要黄,但我希望它能成。。。
新粉请关注我的公众号 今天聊聊这个由Kyligence和Intel一起搞的开源项目Gluten。 Gluten是什么呢?简单来说,这个项目的作用是给Spark引擎的执行赋予调用Native Vectorized engine,比如ClickHouse的能力。 要具体来说呢,就是在Spark查询Plan生成的时候,Gluten把一些Spark的查询计划拦截下来,让下面的native 引擎比如ClickHouse去执行。 当然,由于native引擎的问题,有些东西干不了,Gluten对干不了的operator重
用户1564362
2022-08-29
1.4K0
Cloudera一己之力证明的火炕,网易却毫不犹豫跳进来。。。
新粉请关注我的公众号 最近网易数帆宣布自己要发布一个Hadoop的发行版,准备进军Hadoop发行商的市场。 Hadoop三大发行商Cloudera,Hortonworks和MapR,现在都已经是过去时了。当年Cloudera有多风光,现在就有多惨烈。Cloudera以一己之力证明了Hadoop发行商不是个好生意,是个火坑。 可是在2022的今天,在Cloudera已经私有化并停止更新它的Hadoop发行版的今天,网易却毫不犹豫跳进来了。难道网易的领导层发疯了? 我和网易做大数据的那群人有过一些接触,在
用户1564362
2022-06-24
4560
Apache Kyuubi:一个有趣的大数据开源项目
新粉请关注我的公众号 我很久没写大数据的东西了,最主要的原因是因为我不知道写啥。这个领域里面还在发生着很多事情,但是有深度的,有意义的事情不多,有趣的事情也不多。 最近看到了Apache Kyuubi这个项目,应该严格的说是Apache Kyuubi(incubating)。项目还在孵化器中,并没有升级成为Apache的正式项目。 这是一个挺有趣的项目,所以我打算来写写。 我花了一点时间去了解这个项目的实际情况,发现这个项目是由网易开源的,还是有点吃惊。 Kyuubi是一个什么项目呢?我们用它自己的英文
用户1564362
2022-05-05
1.2K0
惊闻Facebook开源大数据引擎Presto团队正在分裂
这几天忙着出差,跨大洋的飞又在祖国到处飞。受时差和疲倦双重影响,完全不想更新公众号。但是看到Presto团队正在分裂这个大事件,还是顶着疲倦和时差更新一发。
用户1564362
2019-05-06
1.4K0
大数据那些事(25):你还爱我吗之Stinger的努力
新年新气象,给大家拜年。更新一篇等大家的红包。 上期我们讲了Impala,这个Hadoop批发商Cloudera推出来的有若干年头的,但却没有从Apache毕业的Hadoop上的数据查询分析系统。在这场战争里,当然不仅仅是Cloudera在战斗。今天我们来看看另外一个Hadoop批发商Hortonworks。 Hortonworks基本上就是Yahoo里的Hadoop团队减去被Cloudera挖走的Doug Cutting, Hadoop的创始人。这个团队的人做了不少东西,最初的HDFS和Hadoop Ma
用户1564362
2018-04-08
8170
大数据那些事(8):HIVE之初期起
在大数据领域,发展到今天HIVE已经可以说过了集万千宠爱在一身的阶段。然而即使是过了气,我们依旧必须承认它还是有着极其巨大的影响力,广泛的使用率。无数的人依旧继续去优化,包括最新的HIVE2.1里面对内存计算的优化,无疑说明起码有一小撮人,以Hortonworks为代表的那一小撮人,依旧在努力的优化。从另外一个方面看,当红炸子鸡的Spark在支持SQL的时候也需要做到和HIVE的兼容,可见HIVE已经事实上成为了Hadoop平台上SQL和类SQL的标杆和事实的标准。 从历史发展的角度,我的确应该写一篇H
用户1564362
2018-04-04
7110
大数据那些事(8):HIVE之初期起
在大数据领域,发展到今天HIVE已经可以说过了集万千宠爱在一身的阶段。然而即使是过了气,我们依旧必须承认它还是有着极其巨大的影响力,广泛的使用率。无数的人依旧继续去优化,包括最新的HIVE2.1里面对内存计算的优化,无疑说明起码有一小撮人,以Hortonworks为代表的那一小撮人,依旧在努力的优化。从另外一个方面看,当红炸子鸡的Spark在支持SQL的时候也需要做到和HIVE的兼容,可见HIVE已经事实上成为了Hadoop平台上SQL和类SQL的标杆和事实的标准。 从历史发展的角度,我的确应该写一篇HI
用户1564362
2018-04-04
6070
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档