腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据技术栈

专栏作者

67

文章

83085

阅读量

17

订阅数

spark sql api hadoop kafka

根据目前的情况看起来，国内普遍对于flink比较看好，从实际情况来看，flink也是以后的发展方向，但是目前Spark的活跃程度远高于Flink，很难说Spark以后的底层不会也才有flink这种方式，

2020-02-25

5140

Spark系列 —— 算子详解（二）

缓存 hadoop 文件存储数据结构 mapreduce

本文接上一篇 Spark系列 —— 各类算子详解（一）这篇主要来讲讲 Action 算子以及 Cache 算子。

2019-10-30

6220

简谈 HDFS 的高可用 HA

大数据 node.js hadoop

作为一个服务提供者，高可用是一个不得不说的话题，那么今天我们就来聊一聊 HDFS 的高可用，我们主要从以下几点来简单说一说：

2019-10-30

1.1K0

Spark系列--OutputFormat 详解

hadoop spark 云数据库 SQL Server 数据库 sql

定义了 spark 的输出规则的类。这也许会让你想到 Hadoop Mapreduce 的 OutputFormat，没错，其实他们是一个东西，嗯，完全一样。Spark 本身只是一个计算框架，其输入和输出都是依赖于 Hadoop 的 OutputFormat，但是因为 Spark 本身自带 Hadoop 相关 Jar 包，所以不需要我们额外考虑这些东西，下面我们以saveAsTextFile源码来验证我们的结论

2019-10-30

9440

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态