腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

飞总聊IT

专栏作者

562

文章

494015

阅读量

87

订阅数

这个才200个人的公司，竟然有4个CTO！！！

2022年过得真快，12月了，我还有几个技术相关的话题一直想写却没写。今天本来是写其中一个技术话题的，结果，查资料发现，还是先写写八卦吧。

2023-01-10

3960

Databricks一次拿了SIGMOD两个大奖

开源 spark flink mapreduce 大数据

新粉请关注我的公众号在最近费城召开的SIGMOD2022上，Databricks当仁不让成为了赢家，一共拿到了两项大奖： 1.Spark拿到了SIGMOD System Award 2.Photon拿到了Best Industry Paper Award SIGMOD和VLDB是数据库领域两大顶级会议。后面还跟着ICDE。有人认为这三大会差不多，但是大部分人还是觉得ICDE差一点。 2020年以前我每年会尽量争取去其中一个会议，以便紧跟形势。疫情起来以后就没去过了。有关SIGMOD是啥就不多介绍了，很

2022-06-17

5640

这个面试问题很难么 | 如何处理大数据中的数据倾斜

spark linux mapreduce hadoop 大数据

数据倾斜是我们在处理大数据量问题时绕不过去的问题，也是在面试中几乎必问的考点。正常的数据分布理论上都是倾斜的，就是我们所说的'二八原理'：80%的财富集中在20%的人手中, 80%的用户只使用20%的功能 , 20%的用户贡献了80%的访问量。简单来说数据倾斜就是数据的key 的分化严重不均，造成一部分数据很多，一部分数据很少的局面。

2019-12-09

1K0

大数据不再是大数据，大数据依然是大数据--我的一篇严肃总结

hadoop 大数据开源数据分析 mapreduce

由于各种原因，我似乎缺了一篇严肃的文章，来阐述我本人对大数据这个领域的看法，以至于有人看到我这篇文章里的这个观点，就扩展到了我认为的那个领域里的那个观点。我还是决定严肃的写一篇文章，阐述一下我个人的观点。这样一来，多少有据可查。

2019-07-04

6660

从VLDB论文看谷歌广告部门的F1数据库的虚虚实实

云数据库 SQL Server 数据库 sql mapreduce

最近因为工作需要对VLDB的一些论文进行了阅读。其中包括谷歌新发表的F1数据库的分析。解读谷歌论文一直都是不太容易的。因为谷歌向来都是说一半藏一半。这篇论文相对来说还是写的比较开放的，还是不能免俗。

2019-07-04

1.5K0

自建轮子与抱团取暖

开源大数据 mapreduce

一项技术的发展，有自建轮子和抱团取暖两种选择，前者自己从头搭起，后者大家一起合作搞个开源社区。这两者到底哪个比哪个更好，一直都是说不清楚的问题。当然还有拿来主义的原则，拿别人的轮子改头换面叫做自己的轮子的，这种做法不在我们讨论范围内。

2018-07-25

4910

大数据的那些事(4):活雷锋与风口的猪

hadoop 开源 mapreduce

按照惯例今天应该是继续讲三驾马车的BigTable，但是一则BigTable这东西不容易一下子说清楚。二则我觉得是时候停一下技术，多聊点八卦。所以我们来讲讲这个著名的活雷锋公司，以及Hadoop的早年。 Yahoo作为互联网时代的第一股，曾经牢牢的占据了整个IT行业非常重要的位置。从.com时代存活下来，一直到最近穿出来卖给Verizon，又传闻Verizon变卦不想买。从天之骄子变成弃之如敝履的破鞋，也算得上是一个非常可悲的事情。我无意详细展开Yahoo这个公司的整个历史。但是业界有一个传闻，就是站

2018-04-08

5470

大数据那些事(25):你还爱我吗之Stinger的努力

hive hadoop apache yarn mapreduce

新年新气象，给大家拜年。更新一篇等大家的红包。上期我们讲了Impala，这个Hadoop批发商Cloudera推出来的有若干年头的，但却没有从Apache毕业的Hadoop上的数据查询分析系统。在这场战争里，当然不仅仅是Cloudera在战斗。今天我们来看看另外一个Hadoop批发商Hortonworks。 Hortonworks基本上就是Yahoo里的Hadoop团队减去被Cloudera挖走的Doug Cutting, Hadoop的创始人。这个团队的人做了不少东西，最初的HDFS和Hadoop Ma

2018-04-08

7850

大数据那些事(15):Cosmos的技术

hadoop c#mapreduce processing sql

Cosmos是微软大数据的应用平台，内部使用不开源，最开始支撑Bing的后端，到后来扩展到整个微软。作为一个完整的系统，基本上Hadoop系统里面有的它也多多少少都有，从文件系统到执行环境，从interactive query到streaming，从data ingestion到workflow。很多的东西只在internal应用也就不便提及，然而很多核心技术其实也以论文的方式发表出来。因为是老东家的东西，又有签订保密协议，所以我会把比较主要的论文都列出来。这篇文章里的内容会严格的遵循这些论文里面提到的

2018-04-08

1.2K0

大数据那些事(16):一只特立独行的伪Hadoop批发商

开源 mapreduce hadoop 大数据

谢谢大家的反馈，很多意见和建议非常的有见地，很有帮助。我想写好文章，写大家爱读的文章是最重要的。鉴于工作日渐繁忙，更新频率做不到非常的高，但是我会尽量写好每篇更新的文章。有人说钱是好东西，来来往往皆为利。但是开源的东西本身并不来钱。只是不管怎么样，大家都是要吃饭的。雷锋叔叔这么伟大，在中国也只能三月来了四月走。真正能存在的，以前叫暴发户，现在改革开放那么多年了，人工智能都有了长足发展了，暴发户也进化成土豪了。当年Linux开始起来的时候，也是打着免费开源的名头开始的。但是今天靠Linux为生的企业很

2018-04-08

6340

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态