展开

关键词

Flink 从0到1学习—— 分享四本 Flink和二十多篇 Paper 论文

籍1、《Introduction to Apache Flink book》?这本比较薄,简单介绍了 Flink,也有中文版,读完可以对 Flink 有个大概的了解。 2、《Learning Apache Flink》?这本还是讲的比较多的 API 使用,不仅有 Java 版本还有 Scala 版本,入门看这本我觉得还是 OK 的。 这本Flink PMC 写的,质量还是很好的,对 Flink 中的概念讲的很清楚,还有不少图片帮忙理解,美中不足的是没有 Table 和 SQL API 相关的介绍。 这本是讲流处理引擎的,对流处理引擎的发展带来不少的推动,本的质量非常高,配了大量的图,目的就是让你很容易的懂流处理引擎中的概念(比如时间、窗口、水印等),我强烈的推荐大家都看一下,这本的内容被很多博客和籍都引用了 总结本文分享了四本 Flink 相关的籍和一份 streaming systems 领域相关的论文列表 20+ 篇,涉及 streaming systems 的设计,实现,故障恢复,弹性扩展等各方面。

7.5K21

15-Flink实战项目之实时热销排行

戳更多文章: 1-Flink入门 2-本地环境搭建&构建第一个Flink应用 3-DataSet API 4-DataSteam API 5-集群部署 6-分布式缓存 7-重启策略 8-Flink中的窗口 9-Flink中的Time 需求 某个图网站,希望看到双十一秒杀期间实时的热销排行榜单。 我们可以将“实时热门商品”翻译成程序员更好理解的需求:每隔5秒钟输出最近一小时内点击量最多的前 N 个商品图. 需求分解 将这个需求进行分解我们大概要做这么几件事情: 告诉 Flink 框架基于时间做窗口,我们这里用processingTime,不用自带时间戳 过滤出图点击行为数据 按一小时的窗口大小,每5秒钟统计一次 2 3 * (1,1) (2,1) (3,1) * * * 每隔5秒钟 计算过去1小时 的 Top 3 商品 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment

2.2K60
  • 广告
    关闭

    腾讯云前端性能优化大赛

    首屏耗时优化比拼,赢千元大奖

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Flink 与 TiDB 构建高效易用的实时数仓

    小红小红是年轻人的生活方式平台,用户可以通过短视频、图文等形式记录生活点滴,分享生活方式,并基于兴趣形成互动。截至到 2019 年 10 月,小红月活跃用户数已经过亿,并持续快速增长。 在小红的业务架构中,Flink 的数据来源和数据汇总处都是 TiDB,以达到类似于“物化视图”的效果:左上角的线上业务表执行正常的 OLTP 任务。 小红 Flink TiDB 集群架构整个过程形成了 TiDB 的闭环,将后续分析任务的 Join 工作转移到了 Flink 上,并通过流式计算来缓解压力。 目前这套方案已经支持起了小红的内容审核、笔记标签推荐、增长审计等业务,经历了大吞吐量的线上业务考验且持续运行稳定。贝壳金服贝壳金服持续多年深耕居住场景,积累了丰富的中国房产大数据。 小红使用 TiDB 的实践分享文章:How We Use a Scale-Out HTAP Database for Real-TimeAnalytics and Complex Querieshttps

    57930

    超详细,Windows系统搭建Flink官方练习环境

    如何快速的投入到Flink的学习当中,很多人在搭建环境过程中浪费了太多的时间。一套一劳永逸的本机Flink开发环境可以让我们快速的投入到Flink的学习中去,将精力用在Flink的原理,实战。 本文将利用Flink的官方练习环境,在本地Windows系统中快速的搭建Flink环境,并详细的记录整个搭建过程。 Flink群集始终由一个Flink Master 和一个或多个 Flink TaskManager 组成。Flink Master负责处理作业提交,作业的监督以及资源管理。 Flink TaskManager是工作进程,负责执行构成Flink作业的实际任务执行。启动时,名为Flink Event Count的Flink作业将提交给JobManager。 ,欢迎关注实时流式计算 公众号后台回复 “电子” 下载300页Flink实战电子

    1.2K20

    当 TiDB 与 Flink 相结合:高效、易用的实时数仓

    以 Kafka 对接 Flink 如果数据已经从其它途径存放到了 Kafka 中,可以方便地通过 Flink Kafka Connector 使 Flink 从 Kafka 中获得数据。 小红 小红是年轻人的生活方式平台,用户可以通过短视频、图文等形式记录生活点滴,分享生活方式,并基于兴趣形成互动。截至到 2019 年 10 月,小红月活跃用户数已经过亿,并持续快速增长。 在小红的业务架构中,Flink 的数据来源和数据汇总处都是 TiDB,以达到类似于“物化视图”的效果: 左上角的线上业务表执行正常的 OLTP 任务。 目前这套方案已经支持起了小红的内容审核、笔记标签推荐、增长审计等业务,经历了大吞吐量的线上业务考验且持续运行稳定。 贝壳金服 贝壳金服持续多年深耕居住场景,积累了丰富的中国房产大数据。 Real-Time Analytics and Complex Queries,小红使用 TiDB 的实践分享文章 How We Build an HTAP Database That Simplifies

    61711

    再也不担心写出臃肿的Flink流处理程序啦,发现一款将Flink与Spring生态完美融合的脚手架工程-懒松鼠Flink-Boot

    有了它你的代码就像这样子:*** github地址: https:github.comintsmaze* 博客地址:https:www.cnblogs.comintsmaze* 出版籍《深入理解Flink 核心设计与实践原理》 随代码* RichFlatMapFunction为Flink框架的一个通用型操作符(算子),开发者一般在该算子的flatMap方法中编写业务逻辑* @auther: intsmaze 组织结构Flink-Boot├── Flink-Base -- Flink-Boot工程基础模块├── Flink-Client -- Flink-Boot 客户端模块├── flink-annotation ** * github地址: https:github.comintsmaze * 博客地址:https:www.cnblogs.comintsmaze * 出版籍《深入理解Flink核心设计与实践原理 》 随代码 * * @auther: intsmaze(刘洋) * @date: 20201015 18:33 *public class SimpleClient extends BaseFlink

    65620

    0基础入门大数据开发学习的经典籍推荐

    许多人想转行大数据,学习大数据技术,可以看哪些来增加理解呢? 01 《Hadoop权威指南》作者: (美) Tom White本内容丰富,展示了如何使用Hadoop构建可靠、可伸缩的分布式系统,程序员可从中探索如何分析海量数据集,管理员可以了解如何建立与运行Hadoop 05《Flink入门与实战》这是一本Flink入门级图,力求详细而完整地描述Flink基础理论与实际操作,旨在帮助读者从零开始快速掌握Flink的基本原理与核心功能。 中的大量实例来源于作者在实际工作中的实践,具有现实指导意义。

    19630

    为了追求极致的性能,Kafka掌控了这11项要领!

    (具体的内容在中的第5章有详细的讲解,公众号里好像忘记发表了,找了一圈没找到)分区很多人会忽略掉这个因素,其实分区也是提升性能的一种非常有效的方式,这种方式所带来的效果会比前面所说的日志编码、消息压缩等更加的明显 本文中的所有内容都在《深入理解Kafka》一中有讲解,只是散落在各处而已,按照既定的顺序编排,力求从易入难。 如果在中再采用篇幅去罗列类似主题的话,会出现知识讲解的冗余,故没有在中再次整理赘述,不过这些内容会在公众号里发表出来,前面已经按照其它维度整理过好几篇了。 Flink》—— Flink 中的几种 Time 详解11、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 ElasticSearch12、《从0到1学习Flink》—— Flink 29、Flink 从0到1学习—— 分享四本 Flink和二十多篇 Paper 论文30、360深度实践:Flink与Storm协议级对比31、Apache Flink 1.9 重大特性提前解读Flink

    37430

    再谈Flink

    前一阵痴迷于calcite,打算写一些streaming sql相关的东西,正好时逢置办年货,就买了本Flink基础教程》,打开看了一下,就放不下了,一口气都看完了,不厚,很薄的一本小册子,有种醍醐灌顶的感觉 ,回想起9月份写的《阿卡姆科普报告——Flink》未免有些稚嫩......? 这张图,就充分表达了flink的特点,保证高吞吐量、低延迟、正确性、操作简单以及语义化时间窗几个特点。 这也是flink推荐的架构方式? 说到这里,flink是如何完成 exactly-once的?通过检查点,那么怎么加的检查点呢?

    38530

    flink学习笔记

    flink的一些学习笔记,将在github上持续更新 https:github.compierre94flink-notes 一、技术博客索引 Flink中文官方文档 综合类,中文,不全 Flink官方博客读文档永远是学习的首选方向 Flink中文社区ververicaFlink中文社区,大量学习资料和视频 JarkWu的博客Flink committer,主要是Flink SQL方向 VinoYang的博客Flink项目活跃贡献者 ,主要是flink早期的一些文章 flink-china:flink-training-course本系列课程由 Apache Flink Community China 官方出品。 Mean Flink WaterMark分析 Flink HA & 恢复策略 &并发度 --待补充 Flink有什么办法解决由于Key partition造成的数据倾斜问题? ---待补充 3、比赛 Apache Flink极客挑战赛——Flink TPC-DS性能优化 Apache Flink极客挑战赛——垃圾图片分类 补充中…… 三、学习籍 《追源索骥:透过源码看懂Flink

    73141

    推荐10本大数据领域必读的经典好(火速收藏)

    由于版权原因,在国内的电子资源非常稀少,但还是有热心网友在GitHub上分享了自己所翻译的中文版本,感兴趣的朋友可以浏览借鉴一下原作者的思路。?4、Flink基础教程? 既然都提到了Spark,那怎么能少得了Flink的身影呢!作为新一代的开源流处理器,Flink是众多大数据处理框架中一颗冉冉升起的新星。 最主要的是,本Flink项目核心成员执笔,系统阐释Flink的适用场景、设计理念、功能、用途和性能优势。 担心怕看不懂也没有关系,编译这本的作者是阿里巴巴资深技术专家,Apache Flink Committer,淘宝花名“大沙”。 曾多次拜访由Flink创始团队创办的公司data Artisans,并与其首席执行官科斯塔斯·宙马斯(本作者之一)以及首席技术官斯蒂芬·尤恩有着广泛的合作。

    1.3K41

    妈妈再也不用担心,我学不会大数据 flink

    关注“一猿小讲”公众号的小伙伴们,今天有福啦,因为今天我们将一起跳出系统之外,共同迈入大数据之 flink 的大门。flink 是啥?flink 干啥用的? 单机方式运行 flink,在 flink 的主目录下,输入命令闹铃响起,呼唤 flink 要去工作啦。.binstart-cluster.sh?纵然他人夸你千万遍,让我看看好看不好看。 flink 已经从睡梦中苏醒,并准备就绪,就等咱们下发任务啦。HelloWorld 跑跑看。3. 有界的数据处理(装文艺生了有没有)。 第三步:打开页面看一看 flink 留下的轨迹。??第四步:结果在哪里?关注点在哪里,结果就在哪里。?4. 无界的数据处理(再次装文艺生有没有)。 第四步:千万别矜持,说出你对 flink 的热爱,来点真情看看 flink 的反应?在 nc 打开的窗口写一些文本,回车一行就发送一行输入给Flink。?不错不错,统计效果杠杠的。?

    18410

    【推荐阅读】系统性解读大数据处理框架

    Apache Flink有趣的是,同样作为混合处理框架,Flink的思想与Spark是完全相反的:Spark把流拆分成若干个小批次来处理,而Flink把批处理任务当作有界的流来处理。 Flink流处理优先的方式实现了低延迟、高吞吐和真正逐条处理。同样,Flink也并不是完美的。Flink目前最大的缺点就是缺乏在大型公司实际生产项目中的成功应用案例。 其次,一些比较好的也会对学习有很大帮助。相对于网络资源,的优点是系统的列出了需要掌握的技能,缺点是时效性不高,尤其是中文版的。不过下面还是列出了一些在数据处理方面经典的籍,供同学们参考。 其他由于Samza技术比较新,相对也没那么热门,所以并没有什么靠谱的可以推荐。Flink同样也没有出版的中文,倒是已经出版了几本英文,不过英文原版的价格大家懂的,土豪同学可以去电商网站上选购。 Storm作为成熟的技术,世面上的中文籍很多,但却没有一本能获得众口一词的好评,所以这里也没有推荐。

    43780

    大数据计算引擎,选 Flink 还是 Spark?

    虽然市面上讲 Flink 的太少太少,国内的中文资料太欠缺,已有的几本籍也不甚详尽,但是国内在阿里的推动下,我相信 Flink 会越来越火的,并且阿里内部也将 Flink 做了一定的优化和修改,叫 Blink ,今年年初也将源码贡献到 Flink 上面,后面在 Flink 1.9 版本会将 Blink 的功能进行合并到 Flink 上去。 目前市面上的籍没有任何实战的内容,还只是讲解纯概念和翻译官网。在专栏高级篇中,根据 Flink 常见的项目问题提供了排查和解决的思维方法,并通过这些问题探究了为什么会出现这类问题。 Flink 应用程序带大家上手 Flink。 ▲Flink 专栏思维导图多图讲解 Flink 知识点?▲Flink 支持多种时间语义?▲Flink 提供灵活的窗口?▲Flink On YARN?▲Flink Checkpoint?

    81610

    实时即未来:Apache Flink实践(一)

    实时即未来,这是Apache Flink的宣传语~的确,实时这个名词在现代这个科技社会越来越重要,仅以此篇文章记录我的Apache Flink实践学习过程~实时计算Apache Flink实践学习(一) Apache Flink在中国的应用随着Flink社区的快速发展,其技术逐渐走向成熟。 云原生(Cloud Native)Flink 与 Kubernetes 生态系统集成Flink 1.10 版将会发布 Flink 与 Kubernetes生态系统的集成功能,使得 Flink 能够原生的运行在 Apache Flink 怎么安装既然 Flink 这么好用,那么应该这么安装呢? Docker容器安装 Flink 需要先安装Docker容器:Linux:去官网安装即可,如果看不懂或者不会安装可以等我下篇文章详细介绍,除网站外还有QQ小程序:橙子笔记本;微信公众号:星橙读同步更新文章

    10340

    刚修完 Jackson 漏洞,又要修 FastJson 漏洞,我太难了

    Apache Flink 介绍2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门3、《从0到1学习Flink》—— Flink 配置文件详解4、《从0 Flink》—— Flink 中的几种 Time 详解11、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 ElasticSearch12、《从0到1学习Flink》—— Flink 13、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 Kafka14、《从0到1学习Flink》—— Flink JobManager 高可用性配置15、《从0到1学习Flink 》—— Flink parallelism 和 Slot 介绍16、《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL17、《从0到1学习Flink》—— Flink 29、Flink 从0到1学习—— 分享四本 Flink和二十多篇 Paper 论文30、360深度实践:Flink与Storm协议级对比31、Apache Flink 1.9 重大特性提前解读32

    2.7K30

    独家 | 一文读懂大数据处理框架

    Apache Flink有趣的是,同样作为混合处理框架,Flink的思想与Spark是完全相反的:Spark把流拆分成若干个小批次来处理,而Flink把批处理任务当作有界的流来处理。 Flink流处理优先的方式实现了低延迟、高吞吐和真正逐条处理。同样,Flink也并不是完美的。Flink目前最大的缺点就是缺乏在大型公司实际生产项目中的成功应用案例。 其次,一些比较好的也会对学习有很大帮助。相对于网络资源,的优点是系统的列出了需要掌握的技能,缺点是时效性不高,尤其是中文版的。不过下面还是列出了一些在数据处理方面经典的籍,供同学们参考。 其他由于Samza技术比较新,相对也没那么热门,所以并没有什么靠谱的可以推荐。Flink同样也没有出版的中文,倒是已经出版了几本英文,不过英文原版的价格大家懂的,土豪同学可以去电商网站上选购。 Storm作为成熟的技术,世面上的中文籍很多,但却没有一本能获得众口一词的好评,所以这里也没有推荐。

    37990

    大数据计算引擎,你 pick 哪个?

    虽然市面上讲 Flink 的太少太少,国内的中文资料太欠缺,已有的几本籍也不甚详尽,但是国内在阿里的推动下,我相信 Flink 会越来越火的,并且阿里内部也将 Flink 做了一定的优化和修改,叫 Blink ,今年年初也将源码贡献到 Flink 上面,后面在 Flink 1.9 版本会将 Blink 的功能进行合并到 Flink 上去。 目前市面上的籍没有任何实战的内容,还只是讲解纯概念和翻译官网。在专栏高级篇中,根据 Flink 常见的项目问题提供了排查和解决的思维方法,并通过这些问题探究了为什么会出现这类问题。 Flink 应用程序带大家上手 Flink。 ▲Flink 专栏思维导图多图讲解 Flink 知识点?▲Flink 支持多种时间语义?▲Flink 提供灵活的窗口?▲Flink On YARN?▲Flink Checkpoint?

    31110

    快速入门Flink (4) —— Flink批处理的DataSources和DataSinks,你都掌握了吗?

    相信经过前面几篇 Flink 文章的学习,大家对于Flink的代码写一定非常期待。本篇博客,我们就来扒一扒关于Flink的DataSet API的开发。 ? ----1、DataSet API 开发1.1 入门案例1.1.1 Flink 批处理程序的一般流程获取 Flink 批处理执行环境构建 source数据处理构建 sink1.1.2 示例 编写 Flink 1.1.3 步骤IDEA 创建项目导入 Flink 所需的 Maven 依赖创建 scala 单例对象,添加 main 方法获取 Flink 批处理运行环境构建一个 collection 源使用 flink flink 在批处理中常见的 source 主要有两大类。 读取本地文件读取HDFS数据读取CSV数据还包括一些特殊的文件格式,例如读取压缩文件数据,或者基于文件的 source (遍历目录) 针对上述陈述的几种方式,下面将一一展示代码的写。

    14220

    是什么让Flink成为最火计算引擎

    近几年大数据计算引擎从MapReduce,到Spark等基本引领一时的开发圈,而实时计算引擎也有Storm,SparkStreaming,Flink。但是这两年Flink一直都是站在。 阿里巴巴收购Flink母公司,阿里巴巴的Blink分支也慢慢的合并到Flink主干。? 初识Flink我是在两年前随公司参加一个会议上知道的Flink,那是一家做大数据安全的公司,利用大数据分析安全威胁预警。 而最终选择了FLink。?为什么是Flink?1.高吞吐,低延时,高性能针对于这三个特性,Flink在社区内属于唯一,也就是唯一一个能够同时支持三种特性的实时处理框架。 容错性保证了数据的exactly-once调研的问题其实当时选择Flink是非常的不合理的,当时主流的实时处理框架还是SparkStreaming,Flink在当时占比还是很低,相关的籍,文档完全不足

    40410

    相关产品

    • 流计算 Oceanus

      流计算 Oceanus

      流计算 Oceanus 是基于Flink构建的云上全托管的实时计算服务。您无须关注基础设施运维,通过云端一站式开发环境,轻松构建点击流分析、电商精准推荐、金融风控、物联网 IoT 等应用。

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      扫码关注云+社区

      领取腾讯云代金券