腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

祝威廉

专栏作者

308

文章

203578

阅读量

44

订阅数

对Spark的那些【魔改】

spark apache java

这两年做streamingpro时，不可避免的需要对Spark做大量的增强。就如同我之前吐槽的，Spark大量使用了new进行对象的创建，导致里面的实现基本没有办法进行替换。

2018-08-27

6080

Bug剖析篇-"Facebook 60TB+级的Apache Spark应用案例"

apache spark 人工智能

Facebook 60TB+级的Apache Spark应用案例,本来上周就准备看的，而且要求自己不能手机看，要在电脑上细细的看。然而终究是各种忙拖到了昨天晚上。

2018-08-27

3720

elasticsearch-sql 增加 jdbc支持

es 2 sql jdbc apache

增加该功能，纯粹是在关issue的时候看到了第一个issue,参看 Is there any plan for JDBC drivers?。大家讨论的时候，提供了两个选择，一个是apache cal

2018-08-27

9390

如何做Spark 版本兼容

spark api scala 机器学习 apache

同理对应的Vectors object 也是。这就造成了一个比较大的困难，比如下面的代码就很难做到兼容了，切换Spark就无法通过编译：

2018-08-27

9330

为什么说Spark SQL远远超越了MPP SQLSpark SQL 成为了一种跨越领域的交互形态

spark sql apache

这里说的并不是性能，因为我没尝试对比过（下文会有简单的说明），而是尝试从某种更高一层次的的角度去看，为什么Spark SQL 是远远超越MPP SQL的。

2018-08-27

5210

Spark ListenerBus 和 MetricsSystem 体系分析

监控是一个大系统完成后最重要的一部分。Spark整个系统运行情况是由ListenerBus以及MetricsSystem 来完成的。这篇文章重点分析他们之间的工作机制以及如何通过这两个系统完成更多的指标收集。

2018-08-27

6460

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态