腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

飞总聊IT

专栏作者

562

文章

496788

阅读量

87

订阅数

这个云数仓，居然比ClickHouse还快三倍

大数据腾讯云测试服务存储数据库云数据库 SQL Server

前两天在刷朋友圈，看到一个视频号链接，说有个云数仓，比ClickHouse 还快3倍。我就点进去看了，原来是 SelectDB 公司的“为数而生，因云而新” SelectDB 产品发布会。这个发布会上 SelectDB 发布了云数仓产品 SelectDB Cloud。

2023-01-10

1.3K0

飞总带大家解读 AWS re:Invent 2022大数据相关的发布，一句话总结：惨不忍睹。。。

spark 大数据

兴致勃勃的在网络上看了亚马逊AWS年度大会re:Invent2022。我每年有空就会看，虽然从来没去LasVegas现场参观。

2023-01-10

5510

Flink被阿里巴巴买后，果然还是废了

flink 大数据 spark 开源

Flink Forward Asia 2022最近在开，有关Flink的讨论，又开始在国内热闹起来。从技术上来说，Flink当然已经是streaming processing的一个标杆了。

2023-01-10

5310

Facebook的新开源项目Velox，有点命运多舛啊。。。

开源 spark 大数据 c++

本文首发微信公众号：飞总聊IT Velox是Facebook（Meta)开源的一个新的大数据项目。今年VLDB的会议上，Velox团队也发了论文。我每年都有阅读论文的习惯，一般就是看看SIGMOD/VLDB，之前也去开会，疫情以后这方面都懈怠了。今年的VLDB有几篇挺有意思的文章，所以我打算找时间看一下。我第一篇看的就是这个大名鼎鼎的Velox。具体Velox是什么的可以看看官方宣传： https://engineering.fb.com/2022/08/31/open-source/velox/

2022-10-09

1.2K0

为什么大数据平台要回归SQL

开源编程算法 sql 大数据数据库

先说观点：因为还没找到更好的。接下来说原因，首先来看看大数据平台都在干什么。原因结构化数据计算仍是重中之重大数据平台主要是为了应对海量数据存储和分析的需求，海量数据存储的确不假，除了生产经营产生的结构化数据，还有大量音视频等非结构化数据，这部分数据很大，占用的空间也很多，有时大数据平台 80% 以上都存储着非结构化数据。不过，数据光存储还不行，只有利用起来才能产生价值，这就要进行分析了。大数据分析要分结构化和非结构化数据两部分讨论。结构化数据主要是企业生产经营过程中产生的业务数据，可以说是企业的

2022-09-29

8590

Databricks是如何给自己添堵，帮助竞争对手腾飞的。。。

大数据 android 费用中心腾讯云开发者社区

本文是付费阅读文。主要适合下列人： 1.对大数据技术和商业发展深度分析有兴趣的从业人员 2.对Databricks的技术和商业决策逻辑的分析有兴趣的技术和投资人，包括肉身去投资Databricks的码农们文章融合了我的深度思考，全文超过4500字，提供市面上其他人无法提供的视角和价值。请结合您对我大数据的技术与商业相关的文章的价值的认可和信心指数，慎重订阅。腾讯不提供退款途径，订阅后无法退款。苹果比安卓多交30%苹果税，建议用安卓订阅。

2022-09-19

3750

Delta Lake 2.0正式发布，Databricks能赢吗？

开源网络安全 flink 大数据 spark

新粉请关注我的公众号我收到了一封邮件，具体内容截图如下：简单说，就是官宣Delta Lake 2.0正式发布了。这个距离Databricks的年度大会上面宣布，也有些时日了。 Databricks在发布里面指出了一些新功能。我挑重点讲几个。首先是Change Data Feed。这个东西的作用就是你对Delta Table做的数据改变，它都会生成Change Data Feed。你要是订阅了这个东西，比如说把它放进一个Kafka集群里面，理论上就可以准实施复制出一份数据来。这个东西有点像什么呢

2022-08-29

5940

Facebook的开源Native大数据引擎Velox能成为我说的又好又快的Native引擎吗？

开源大数据 hive nosql

新粉请关注我的公众号昨天公众号的文章：这个大数据开源项目多半要黄，但我希望它能成。。。写了以后，后台留言最多的就是问我怎么看Facebook的Velox这个开源native引擎。其中，有该团队的人说，Gluten也和他们合作，现在已经基本上能够替换Facebook内部的Presto了，Spark的替换还在开发中。这个问题的答案，说实话，我也不知道。我没研究过它的代码。所以我也没有什么发言权。相比较而言，ClickHouse我还真的看过一些源代码，懂得多一点。所以多少能扯上几句。但是我如果就这样回答了

2022-08-29

8810

Cloudera一己之力证明的火炕，网易却毫不犹豫跳进来。。。

hadoop 大数据 hive 混合云解决方案开源

新粉请关注我的公众号最近网易数帆宣布自己要发布一个Hadoop的发行版，准备进军Hadoop发行商的市场。 Hadoop三大发行商Cloudera，Hortonworks和MapR，现在都已经是过去时了。当年Cloudera有多风光，现在就有多惨烈。Cloudera以一己之力证明了Hadoop发行商不是个好生意，是个火坑。可是在2022的今天，在Cloudera已经私有化并停止更新它的Hadoop发行版的今天，网易却毫不犹豫跳进来了。难道网易的领导层发疯了？我和网易做大数据的那群人有过一些接触，在

2022-06-24

4220

四年！！飞轮科技成功孵化原百度开源的Apache Doris！！！

apache 开源大数据 github git

新粉请关注我的公众号 2022年6月15日，最初百度开源的Doris项目正式获得Apache基金会的通知，成功孵化成为Apache的顶级项目。贡献者之一是飞轮科技，这个由原百度智能云大数据与视频云总经理连林江创办的公司。 Doris是个数据仓库，一开始的时候是百度内部的Palo系统，2017年的时候开源在GitHub上。 2018年Palo正式改名叫做Doris，并进入Apache孵化器，开始为了成为Apache的顶级项目努力。 Apache基金会一开始并没有孵化器的概念，后来在MapReduce时代，H

2022-06-20

2K0

Databricks一次拿了SIGMOD两个大奖

开源 spark flink mapreduce 大数据

新粉请关注我的公众号在最近费城召开的SIGMOD2022上，Databricks当仁不让成为了赢家，一共拿到了两项大奖： 1.Spark拿到了SIGMOD System Award 2.Photon拿到了Best Industry Paper Award SIGMOD和VLDB是数据库领域两大顶级会议。后面还跟着ICDE。有人认为这三大会差不多，但是大部分人还是觉得ICDE差一点。 2020年以前我每年会尽量争取去其中一个会议，以便紧跟形势。疫情起来以后就没去过了。有关SIGMOD是啥就不多介绍了，很

2022-06-17

5690

聊聊DatabricksSQL和Apache Kyuubi

开源 sql apache 大数据 spark

新粉请关注我的公众号昨天写了一篇文章Apache Kyuubi：一个有趣的大数据开源项目，介绍了网易开源的Apache Kyuubi，是如何把Spark变成为一个数仓的。有一些人联系我，有问我是不是不知道有个产品叫Databricks SQL的，也有问我Databricks SQL和这个比起来怎么样。有这么多问题，我想我应该没办法一个接一个回答。所以我还是简单写一篇文章。首先，大家不用怀疑我知道还是不知道Databricks SQL这个产品。我是不是大数据专家这一点大家可以质疑。我是不是大数据八卦专

2022-05-05

6760

三面字节总结：Spark+hadoop+数据仓+Flink+kafka 资料一应俱全！

大数据 hadoop spark java kafka

从时间节点上来看，每年的 3月、4月是一年中求职跳槽的黄金季！最近也收到很多小伙伴的后台留言 “有没有大数据学习资源，进阶学习路线，PDF，电子书，面试文档等等...” 一系列问题，这篇文章等于是针对以上的问题统一做回答了。肝了一周，做了一些资源筛选，依照自己的学习经验和相关的资料做个整理，把一些我看过的精品视频，技术书籍，学习路线，面试文档等资源一并打包好分享给大家，质量都非常高！！划重点：建议大家都保存一份！！学完之后不论是找工作、厂内晋升、还是跳槽涨薪都不在话下！一共分为 5 大板块组成

2022-04-19

3480

ClickHouse官宣：我是美国公司，不是俄国公司！我反对普京，支持乌克兰！

大数据安全开源

ClickHouse作为一个来自俄罗斯的开源大数据产品非常的有名。去年9月份，ClickHouse团队独立，成立了自己的公司。具体参考这里：大数据产品Clickhouse正式独立成立公司。 ClickHouse公司突然在官网上发表了一篇官宣文章:We Stand With Ukraine。链接如下：https://clickhouse.com/blog/we-stand-with-ukraine/ 有兴趣的小伙伴可以自己去阅读一下原文。原文里面ClickHouse公司的三位创始人纷纷表态，强烈反对并谴责普金

2022-04-06

8580

大厂前途不在，大数据人才纷纷逃离

最近大数据领域最值得关注的，不是技术上有什么突飞猛进的进展，而是人才的流动问题。以前是大数据发源地的各大互联网企业，包括三驾马车提出者的谷歌，都面临了新一波的大数据人才逃离。根据我朋友圈和LinkedIn的数据，在这次的大数据人才逃离中，谷歌尤其的惨淡。谷歌下面的几个大数据团队，比如著名的BigQuery，还有F1，都大量流失大数据人才。这些人去的地方也非常有意思，小部分去创业了，大部分去了两家当红的大数据公司：Snowflake和Databricks。有关这两家公司我之前写过很多分析文章了，尤

2022-03-04

6610

开源作者报复社会，曾经宿舍着火一无所有，求捐款而不得！

开源大数据 javascript

几天前，开源项目faker.js以及colors.js用户们发现出问题，应用程序在乱输出代码。经过调查，更加令人吃惊的事情出现了，原来，导致这一切的居然是该项目的作者本人。就是作者本人在最新的代码里面加入了这些垃圾，破坏了自己写的东西。而他的开源项目一直在被包括AWS在内的大大小小的互联网公司白嫖。深挖之后，问题源头指向了 2020 年的事情。作者因为公寓大火丢了所有的东西，以及没钱，没地方住了，求援助。很难想象一个如此受欢迎，被各大公司使用的开源那软件作者，居然会因为一场大火穷成这样。这

2022-03-03

3080

StarRocks：单表查询速度媲美ClickHouse的云时代极速全场景MPP数据库

大数据数据分析存储分布式数据库

大数据时代用户们对数据分析的要求一直都在。早期通过Hadoop的生态圈，用HIVE等语言进行数据分析，虽然很好的解决了数据规模的问题，但是时延却一直不好。

2021-12-17

2K0

Cloudera私有化，“大数据”时代落幕

hadoop 大数据

Cloudera终于再一次登上了新闻，一瞬间。因为它私有化了。本周二的时候，Cloudera表示被私募基金CD&R和KKR&Co以5.5B的价格给买了，也就是每股16美元。

2021-07-12

1.1K0

大数据凉凉了？Apache将一众大数据开源项目束之高阁！

hadoop 大数据 apache 开源 spark

这两天Apache基金会，这个因为大数据而成名的开源基金会连续不断的宣布将一系列的项目束之高阁报废，也就是所谓的进入Apache Attic。这些项目的PMC委员会会解散。

2021-04-21

8790

大数据东风下，Clickhouse这坨屎是怎么上天的

分布式大数据数据库 sql 编程算法

网上有很多讲大数据的文章会告诉你，Clickhouse是来自俄罗斯的“大数据”查询引擎。这个由Yandex主导的大数据引擎，非常的牛逼，速度超级快。然后这个传说就在不断的传播中越传越遥远。

2021-04-21

1.6K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态