腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

暴走大数据

专栏作者

298

文章

535510

阅读量

99

订阅数

正面PK Spark | 几大特性垫定Flink1.12流计算领域真正大规模生产可用

flink 大数据 kubernetes 批量计算 yarn

在小编的记忆里，Flink 自从出现在大众视野中，一直在高速迭代。Flink1.10版本之前因为重大功能的缺失(主要是和Hive的兼容性)，笔者一直都不推荐直接应用在大规模的生产实践中，可以做小范围内业务尝试。Flink 1.10版本可以被认为是一个承上启下的革命性版本。

大数据真好玩

2021-02-23

5030

大数据哔哔集20210106 - Hadoop3.0有哪些新特性

yarn jdk node.js https 大数据

【大数据哔哔集】是小编发起的每日大数据圈子最前沿、高频、有难度的面试题目以及资讯等。

大数据真好玩

2021-01-26

4910

CDH5.11 离线安装或者升级spark2.x详细步骤

spark parcel yarn node.js java

在我CDH5.11集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本，均告成功。这里做一下安装spark2.1版本的步骤记录。

大数据真好玩

2020-08-28

4530

Flink1.9.0源码调试介绍&增加调试超时时间

大数据 yarn jvm node.js 编程算法

在Flink1.9.0源码研究过程中，调试源码是一个非常重要的手段，通过查看真实的运行数据和变量，来了解源码内部运行逻辑

大数据真好玩

2019-12-05

2.7K0

深入理解 Flink 容错机制

大数据 zookeeper yarn node.js

场景描述：作为分布式系统，尤其是对延迟敏感的实时计算引擎，Apache Flink 需要有强大的容错机制，以确保在出现机器故障或网络分区等不可预知的问题时可以快速自动恢复并依旧能产生准确的计算结果。

大数据真好玩

2019-10-15

2K0

Flink成为字节跳动流处理唯一标准

大数据 apache 运维 yarn xml

场景描述：本文将为大家展示字节跳动公司将 Jstorm 任务迁移到 Apache Flink 上的整个过程以及后续计划。你可以借此了解到字节跳动公司引入 Apache Flink 的背景，Apache Flink 集群的构建过程，如何兼容以前的 Jstorm 作业以及基于 Apache Flink 构建一个流式任务管理平台，本文将一一为你揭开这些神秘的面纱。

大数据真好玩

2019-09-17

2K0

Flink如何确定TaskManager个数

大数据 yarn node.js spark

来源:https://www.jianshu.com/p/5b670d524fa5

大数据真好玩

2019-09-08

13.6K0

Spark提交任务的不同方法及执行流程

yarn node.js spark

了解Spark架构原理及相关任务提交流程前，我们需要先了解一下Spark中的一些角色概念。

大数据真好玩

2019-08-08

3.5K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态