专栏首页kk大数据flink 到底有什么优势值得大家这么热衷

flink 到底有什么优势值得大家这么热衷

flink 通过实现了 Google Dataflow 流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。

同时 flink 支持高度容错的状态管理,防止状态在计算过程中因为系统异常而丢失,flink 周期性地通过分布式快照技术 Checkpoints 实现状态的持久化维护,使得即使在系统停机或者异常情况下都能计算出正确的结果。

具体的优势有以下几点

(1) 同时支持高吞吐、低延迟、高性能

是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式数据处理框架。

像 Apache Spark 也只能兼顾高吞吐和高性能特性,无法做到低延迟保障

Apache Storm 只能支持低延时和高性能特性,无法满足高吞吐的要求

(2)支持事件时间(Event Time)概念

在流式计算领域中,窗口计算的地位举足轻重,但目前大多数框架窗口计算采用的都是系统时间(Process Time),也是事件传输到计算框架处理时,系统主机的当前时间。

Flink 能够支持基于事件时间(Event Time)语义进行窗口计算,这种基于事件驱动的机制使得事件即使乱序到达,流系统也能够计算出精确的结果,保持了事件原本产生时的时序性,尽可能避免网络传输或硬件系统的影响。

(3)支持有状态计算

所谓状态就是在流式计算过程中将算子的中间结果保存在内存或者文件系统中,等下一个事件进入算子后可以从之前的状态中获取中间结果,计算当前的结果,从而无须每次都基于全部的原始数据来统计结果,极大的提升了系统性能

(4)支持高度灵活的窗口(Window)操作

Flink 将窗口划分为基于 Time 、Count 、Session、以及Data-Driven等类型的窗口操作,窗口可以用灵活的触发条件定制化来达到对复杂的流传输模式的支持,用户可以定义不同的窗口触发机制来满足不同的需求

(5)基于轻量级分布式快照(Snapshot)实现的容错

Flink 能够分布运行在上千个节点上,通过基于分布式快照技术的Checkpoints,将执行过程中的状态信息进行持久化存储,一旦任务出现异常停止,Flink 能够从 Checkpoints 中进行任务的自动恢复,以确保数据爱处理过程中的一致性

(6) 基于 JVM 实现的独立的内存管理

Flink 实现了自身管理内存的机制,尽可能减少 JVM GC 对系统的影响。

通过序列化/反序列化机制将所有的数据对象转换成二进制在内存中存储,降低数据存储大小的同时,更加有效的利用空间,降低GC带来的性能下降或任务异常的风险

(7)Save Points 保存点

对于 7 * 24 小时运行的流式应用,数据源源不断的流入,在一段时间内应用的终止有可能导致数据的丢失或者计算结果的不准确。

比如集群版本的升级,停机运维操作等。

值得一提的是,Flink 通过Save Points 技术将任务执行的快照保存在存储介质上,当任务重启的时候,可以从事先保存的 Save Points 恢复原有的计算状态,使得任务继续按照停机之前的状态运行。

还在等什么,快去使用 flink 吧

本文分享自微信公众号 - kk大数据(kkbigdata),作者:wangkai

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-09-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Flink Table API/SQL 是如何变成程序运行的

    如上图,最下面一层是 Process Function ,可以去做一些有状态的计算,注册 Timer 定时器,可以做更复杂的操作,灵活性更高,可以做非常复杂的定...

    kk大数据
  • Hive 窗口函数最全讲解和实战

    在深入研究Over字句之前,一定要注意:在SQL处理中,窗口函数都是最后一步执行,而且仅位于Order by子句之前 可以想象成sql的输出结果,就是窗口函数输...

    kk大数据
  • 一文带你了解 Flink 基本组件栈

    Flink 同样遵循着分层的架构设计理念,在降低系统耦合的同时,也为上层用户构建 Flink 应用提供了丰富且友好的接口。

    kk大数据
  • 打开终端的方法

    于小勇
  • Confluence 6 启用 OpenSearch

    在 OpenSearch autodiscovery  自动发现,你可以添加 Confluence 搜索到你的的 Firefox 或者 IE7 查找对话框中(请...

    HoneyMoose
  • 《音视频开发进阶指南》—— 读书笔记

    前言 之前偶然看到一个PPT,是一些视频特效的讲解。首页如下: ? PPT解析了模糊镜像、电击效果、灵魂出窍、动态晕影等视频处理效果,最后推荐作者自己写的书: ...

    落影
  • 微软与瑞银达成协议,将银行数据上云

    银行数字化是必然的趋势,但是考虑到数据安全,目前大多数银行数据都选择采用本地服务器,但是随着服务内容和数据的增多,本地的维护成本太高等问题的出现,银行是否上云成...

    镁客网
  • 一文了解Flink数据-有界数据与无界数据

    有界数据集对开发者来说都很熟悉,在常规的处理中我们都会从Mysql,文本等获取数据进行计算分析。我们在处理此类数据时,特点就是数据是静止不动的。也就是说,没有再...

    CainGao
  • 2018年云计算细分领域,增长空间将更大

    在2017年这一年中,全球云计算市场持续增长,巨头们持续掠夺份额和地盘;创新玩家相继融资战队暗流涌动,重点发力行业云,试图不与巨头正面竞争。在这样的背景下,云计...

    BestSDK
  • 高速串行总线设计基础(一)同步时序模型介绍

    高速信号设计涉及到方方面面的知识积累,也许你认为即使没有掌握甚至没有听过一些高速设计的专业术语,也没有关系?因为专业集成的IP可以帮你解决这一问题,但殊不知,根...

    Reborn Lee

扫码关注云+社区

领取腾讯云代金券