飞总聊IT-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

飞总聊IT

专栏成员

562

文章

518850

阅读量

87

订阅数

Facebook的开源Native大数据引擎Velox能成为我说的又好又快的Native引擎吗？

开源大数据 hive nosql

新粉请关注我的公众号昨天公众号的文章：这个大数据开源项目多半要黄，但我希望它能成。。。写了以后，后台留言最多的就是问我怎么看Facebook的Velox这个开源native引擎。其中，有该团队的人说，Gluten也和他们合作，现在已经基本上能够替换Facebook内部的Presto了，Spark的替换还在开发中。这个问题的答案，说实话，我也不知道。我没研究过它的代码。所以我也没有什么发言权。相比较而言，ClickHouse我还真的看过一些源代码，懂得多一点。所以多少能扯上几句。但是我如果就这样回答了

2022-08-29

9710

这个大数据开源项目多半要黄，但我希望它能成。。。

spark 开源 hive

新粉请关注我的公众号今天聊聊这个由Kyligence和Intel一起搞的开源项目Gluten。 Gluten是什么呢？简单来说，这个项目的作用是给Spark引擎的执行赋予调用Native Vectorized engine，比如ClickHouse的能力。要具体来说呢，就是在Spark查询Plan生成的时候，Gluten把一些Spark的查询计划拦截下来，让下面的native 引擎比如ClickHouse去执行。当然，由于native引擎的问题，有些东西干不了，Gluten对干不了的operator重

2022-08-29

1.4K0

Cloudera一己之力证明的火炕，网易却毫不犹豫跳进来。。。

hadoop 大数据 hive 混合云解决方案开源

新粉请关注我的公众号最近网易数帆宣布自己要发布一个Hadoop的发行版，准备进军Hadoop发行商的市场。 Hadoop三大发行商Cloudera，Hortonworks和MapR，现在都已经是过去时了。当年Cloudera有多风光，现在就有多惨烈。Cloudera以一己之力证明了Hadoop发行商不是个好生意，是个火坑。可是在2022的今天，在Cloudera已经私有化并停止更新它的Hadoop发行版的今天，网易却毫不犹豫跳进来了。难道网易的领导层发疯了？我和网易做大数据的那群人有过一些接触，在

2022-06-24

4560

Apache Kyuubi：一个有趣的大数据开源项目

spark hive sql apache jdbc

新粉请关注我的公众号我很久没写大数据的东西了，最主要的原因是因为我不知道写啥。这个领域里面还在发生着很多事情，但是有深度的，有意义的事情不多，有趣的事情也不多。最近看到了Apache Kyuubi这个项目，应该严格的说是Apache Kyuubi（incubating）。项目还在孵化器中，并没有升级成为Apache的正式项目。这是一个挺有趣的项目，所以我打算来写写。我花了一点时间去了解这个项目的实际情况，发现这个项目是由网易开源的，还是有点吃惊。 Kyuubi是一个什么项目呢？我们用它自己的英文

2022-05-05

1.2K0

惊闻Facebook开源大数据引擎Presto团队正在分裂

这几天忙着出差，跨大洋的飞又在祖国到处飞。受时差和疲倦双重影响，完全不想更新公众号。但是看到Presto团队正在分裂这个大事件，还是顶着疲倦和时差更新一发。

2019-05-06

1.4K0

大数据那些事(25):你还爱我吗之Stinger的努力

hive hadoop apache yarn mapreduce

新年新气象，给大家拜年。更新一篇等大家的红包。上期我们讲了Impala，这个Hadoop批发商Cloudera推出来的有若干年头的，但却没有从Apache毕业的Hadoop上的数据查询分析系统。在这场战争里，当然不仅仅是Cloudera在战斗。今天我们来看看另外一个Hadoop批发商Hortonworks。 Hortonworks基本上就是Yahoo里的Hadoop团队减去被Cloudera挖走的Doug Cutting, Hadoop的创始人。这个团队的人做了不少东西，最初的HDFS和Hadoop Ma

2018-04-08

8170

大数据那些事(8):HIVE之初期起

大数据 hive spark sql hadoop

在大数据领域，发展到今天HIVE已经可以说过了集万千宠爱在一身的阶段。然而即使是过了气，我们依旧必须承认它还是有着极其巨大的影响力，广泛的使用率。无数的人依旧继续去优化，包括最新的HIVE2.1里面对内存计算的优化，无疑说明起码有一小撮人，以Hortonworks为代表的那一小撮人，依旧在努力的优化。从另外一个方面看，当红炸子鸡的Spark在支持SQL的时候也需要做到和HIVE的兼容，可见HIVE已经事实上成为了Hadoop平台上SQL和类SQL的标杆和事实的标准。从历史发展的角度，我的确应该写一篇H

2018-04-04

7110

大数据那些事(8):HIVE之初期起

hive sql spark hadoop

在大数据领域，发展到今天HIVE已经可以说过了集万千宠爱在一身的阶段。然而即使是过了气，我们依旧必须承认它还是有着极其巨大的影响力，广泛的使用率。无数的人依旧继续去优化，包括最新的HIVE2.1里面对内存计算的优化，无疑说明起码有一小撮人，以Hortonworks为代表的那一小撮人，依旧在努力的优化。从另外一个方面看，当红炸子鸡的Spark在支持SQL的时候也需要做到和HIVE的兼容，可见HIVE已经事实上成为了Hadoop平台上SQL和类SQL的标杆和事实的标准。从历史发展的角度，我的确应该写一篇HI

2018-04-04

6070

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态