摘要:Dinky 0.5 已发布,它将重新定义 Apache Flink 的开发运维,让其如虎添翼,拭目以待。内容包括:
Flink Forward Asia 2022最近在开,有关Flink的讨论,又开始在国内热闹起来。从技术上来说,Flink当然已经是streaming processing的一个标杆了。
自 Flink 开源以来,越来越多的开发者加入了 Flink 社区。仅仅 2019 年,Flink 在 GitHub 上的 Star 数量翻了一倍,Contributor 数量也呈现出持续增长的态势。而它目前在 GitHub 上的访问量,也位居 Apache 项目中前三,是 Apache 基金会中最为活跃的项目之一。
鱼羊 发自 凹非寺 量子位 | 公众号 QbitAI 阿里这波遭“背刺”了: 花了1亿美元收购的开源项目,创始团队离职出走,结果二次创业项目不到一年又卖出去了。 关键是,这个二次创业项目,跟当初卖给阿里那个,不能说毫不相关,只能说……高度相似吧…… 核心业务,都是做Apache Flink这个开源项目的商业化。 △卖给阿里的Ververica官网主页 △新公司Immerok官网主页 消息一出,阿里“冤大头”的说法不胫而走。 而这同一个项目卖两次的操作,也给吃瓜群众看得一愣一愣的: 没签竞业协议?
2023年开年开源界就出了一个大新闻,1月6日Kafka的商业化公司Confluent创始人宣布签署了收购 Immerok 的最终协议,而Immerok是一家为 Apache Flink 提供完全托管服务的初创公司,其创始团队正是Flink的创始团队。
今天刷朋友圈,首先看到的是AI前线的这篇文章:重磅!阿里Blink正式开源,重要优化点解读。这篇文章开篇大概是这样的:
2022 年 11 月 26-27 日,Flink Forward Asia(FFA)峰会成功举行。Flink Forward Asia 是由 Apache 软件基金会官方授权、由阿里云承办的技术峰会,是目前国内最大的 Apache 顶级项目会议之一,也是 Flink 开发者和使用者的年度盛会。由于疫情原因,本届峰会仍采用线上形式。此外,本次峰会上还举行了第四届天池实时计算 Flink 挑战赛的颁奖仪式,4346 支参赛队伍中共有 11 支队伍经过层层角逐脱颖而出,最终收获了奖项。 FFA 大会照例总结了
2020年,一个注定会被历史铭记的一年。在全球化合作受到挑战的大环境下,作为全球最大的开源软件基金会,Apache 软件基金所引领的开源社区,依然汇聚了全球的顶尖开发人员,交出了一份鼓舞人心的成绩单。2021年1月1日,Apache 基金会在其官方博客上发表了文章《Apache in 2020 - By The Digits》[1],用数字回顾了2020 一整年的社区发展:
摘要:Dinky 0.6.1 已发布,一起来看它如何优化 Flink 应用体验。内容包括:
[ 导读 ] 8月22日,Apache Flink 1.9.0 正式发布。早在今年1月,阿里便宣布将内部过去几年打磨的大数据处理引擎Blink进行开源并向 Apache Flink 贡献代码。此次版本在结构上有重大变更,修改代码达150万行,接下来,我们一起梳理 Flink 1.9.0 中非常值得关注的重要功能与特性。
ApacheFlink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。
作者 | 郑思宇 “Flink 已经成为全球范围内实时流计算的事实标准。”用这句话来描绘 Flink 在当前大数据技术领域的地位并不为过。 虽然大数据领域的技术和潮流方向在不断发生改变,但是 Flink 一直处于核心驱动的位置。从流式计算引擎的兴起,到流批一体在企业内部的落地,再到为实现端到端全链路的实时化分析能力而走向舞台中央的流式数仓,Flink 均在其中扮演着重要的角色。 以上每个过程的推进和实现都并不容易,Flink 到底是如何做到的?其背后的推动力是什么?凭什么受到全球企业和开发者的青睐?带着这
来到了 2021 年的最后一天,自 6 月 6 日开源立项到今天,历时 6 个月,Dlink 终于崭露头角。而 0.5 版本也将于一月中旬与大家相见。本文将带您领略 Dlink 的由来、发展、应用及前景,那我们就直接开始吧!
大家好,我是独孤风。今天为大家推荐的是一个完全开源的项目StreamX。该项目的发起者Ben也是我的好朋友。
Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办,议程内容正式上线! 今年是 Flink Forward Asia(下文简称 FFA)落地中国的第五个年头,也是 Flink 成为 Apache 软件基金会顶级项目的第八年。过去这几年,Flink 一方面持续优化其流计算核心能力,不断提高整个行业的流计算处理标准,另一方面沿着流批一体的思路逐步推进架构改造和应用场景落地。伴随着实时化浪潮的发展和深化,Flink 已逐步演进为流处理的领军角色和事实标准。 作为开源大数据领
Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办,议程内容正式上线! 今年是 Flink Forward Asia(下文简称 FFA)落地中国的第五个年头,也是 Flink 成为 Apache 软件基金会顶级项目的第八年。过去这几年,Flink 一方面持续优化其流计算核心能力,不断提高整个行业的流计算处理标准,另一方面沿着流批一体的思路逐步推进架构改造和应用场景落地。伴随着实时化浪潮的发展和深化,Flink 已逐步演进为流处理的领军角色和事实标准。 作为开源大数据领域
阿里妹导读:今年的双11,实时计算处理的流量洪峰创纪录地达到了每秒40亿条的记录,数据体量也达到了惊人的每秒7TB,基于Flink的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头角,并在稳定性、性能和效率方面都经受住了严苛的生产考验。本文深度解析“流批一体”在阿里核心数据场景首次落地的实践经验,回顾“流批一体”大数据处理技术的发展历程。
摘要:本文整理自 OceanBase 技术专家王赫(川粉)在 5 月 21 日 Flink CDC Meetup 的演讲。主要内容包括:
采访嘉宾|王峰(莫问) 作者 | Tina 作为最活跃的大数据项目之一,Flink 进入 Apache 软件基金会顶级项目已经有八年了。 Apache Flink 是一款实时大数据分析引擎,同时支持流批执行模式,并与 Hadoop 生态可以无缝对接。2014 年,它被接纳为 Apache 孵化器项目,仅仅几个月后,它就成为了 Apache 的顶级项目。 对于 Flink 来说,阿里有非常适合的流式场景。作为 Flink 的主导力量,阿里从 2015 年开始调研 Flink,并于 2016 年第一次在搜
👆关注“博文视点Broadview”,获取更多书讯 以下内容节选自《Flink实战派》一书! ---- --正文-- 大数据技术和人工智能(机器学习)的结合,使利用数据价值的技术有了新的突破。 在通常情况下,大数据技术与机器学习是互相促进、相依相存的关系。 01 大数据和机器学习之间的关系 机器学习不仅需要合理、适用和先进的算法,还需要依赖足够好和足够多的数据。 大数据可以提高机器学习模型的精确性。 数据的数据量越多,质量越高,机器学习的效率和准确性就越高。机器学习是大数据分析的一个重要方向(方式)。
之前小伙伴们一直苦于 Dlink 没有官网或操作手册来作指导,操作起来处处是坑。经过两天的努力,Dlink 也有官网和 GitHub Pages 啦,不过官网还在等备案,可以先看 GitHub Pages。在此非常感谢 docsify 开源项目的支持。关于在线体验的 Demo ,暂时无法给部署,基于 mock 的改造工作量蛮大且体验效果差,把原版 Dlink 部署上,一个小服务器,分分钟就给跑崩了,大家还是等后续权限功能上线吧。
摘要:本文介绍了 Dlink 的 Roadmap,站在巨人肩膀上的它,是否真的未来可期?内容包括:
Spark 是最活跃的 Apache 项目之一。Spark 的开源社区一度达到上千的活跃贡献者。最主要推动者是 Databricks,由最初的 Spark 创造者们成立的公司。Spark 因为在引擎方面比 MapReduce 全面占优,经过几年发展和 Hadoop 生态结合较好,已经被广泛视为 Hadoop MapReduce 引擎的取代者。
Apache Flink 是大数据领域非常流行的流批统一的计算引擎,数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时,会碰撞出什么样的火花呢?本次分享主要包括以下核心内容:
剩喜漫天飞玉蝶,不嫌幽谷阻黄莺。2020 年是不寻常的一年,Flink 也在这一年迎来了新纪元。
摘要:本文介绍了一款开源发展的 Apache Flink Studio。内容包括:
作者 | 蔡芳芳 采访嘉宾 | 王宇飞、罗齐 自年初成立开源委员会以来,字节跳动开源动作频频。公开信息显示,字节跳动近五个月新开源了不少项目,包括 Shuffle 框架 Cloud Shuffle Service、基于 Rust 的 RPC 框架 Volo 等。 10 月 26 日,字节宣布开源自研数据集成引擎 BitSail,采用 Apache 2.0 开源许可。据悉,BitSail 支持多种异构数据源间的数据同步,并提供离线、实时、全量、增量场景下的全域数据集成解决方案,目前服务于字节内部几乎所有
最近群里朋友让解释下flink的watermark机制,那就顺便也简单聊聊flink本身的二三事,本篇写扯一扯历史: 大家都知道,大数据的起源在美国,当前的最热门的技术也都是美国掌握,hadoop,spark,学术界牛逼高校有伯克利,斯坦福等,商业上也比较成功,比如做平台的cloudera,hortonworks等都在美国。 讲到组件最热的当前应该属于spark,前面刚写一篇文章《Spark这是要一统江湖的节奏》,介绍Spark创始人Matei最近在spark submmit上做了一次演讲,spark开始一
本文作者:BYD信息中心-数据中心管理部-董睿 这里打一个小广告,手动狗头 比亚迪西安研发中心(与深圳协同办公),base西安。招聘大数据平台运维方向工程师,实时计算方向工程师,感兴趣的小伙伴请投递简历至dong.rui@byd.com 1.文档编写目的 Prometheus 是一款基于时序数据库的开源监控告警系统,Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态,任意组件只要提供对应的HTTP接口就可以接入监控。Grafana是一款采用 Go语言编写的开源应用,是一个跨平台的开源
讲者:Aniket Mokashi,工程经理 @谷歌;Dagang Wei,软件工程师 @谷歌
本文整理自 Dinky 实时计算平台 Maintainer 亓文凯老师在 Apache Doris & Apache SeaTunnel 联合 meetup 的实践分享,通过 Doris + Flink + DolphinScheduler + Dinky 构建开源数据平台。
实时即未来,最近在腾讯云流计算 Oceanus 进行 Flink 实时计算服务,以下为使用自定义图数据库 Nebula Graph Connector 的实践。分享给大家~
数栈是云原生—站式数据中台PaaS,我们在github和gitee上有一个有趣的开源项目:FlinkX,FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,也可以采集实时变化的数据,是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star!star!star!
导读:本文将告诉你Flink是什么,以及为什么Flink会成为下一代大数据处理框架的标准。
本文主要介绍将flink任务运行的metric发送到Prometheus,通过grafana报表工具展示。
今天朋友圈有篇【阿里技术】发的文章,说Blink的性能如何强悍,功能现在也已经比较完善。譬如:
摘要:本文整理自阿里云开源大数据平台负责人王峰(莫问)老师在5月16日 Streaming Lakehouse Meetup · Online 上的分享,主要介绍在新一代湖仓架构上如何进行实时化大数据分析。内容主要分为以下五个部分:
历时一个多月,我们终于结束了【企业级360°全方位用户画像】的项目,想看具体详情的朋友,可以移步至博主的大数据项目专栏一饱眼福…
随着互联网和移动互联网的发展,时下我们正处在一个大数据的时代。在数据金山的诱惑下,各个机构纷纷开始探索从数据中提取洞见并指导实践的可能。而在这个需求的刺激下,在过去数年,大数据开源生态圈得到了长足的发展——在数据的整个生命周期中,从收集到处理,一直到数据可视化和储存,各种开源技术框架林立。 以这些开源技术为基石,业内涌现出一系列令人敬佩的大数据架构实践,而《程序员》电子刊9月B大数据实战与技术专题则摘录了电商、金融、游戏等行业的大数据应用,并覆盖了当下热门的大数据开源技术实践与技术细节,如Hadoop、
2010年,由Volker Markl(德国研究基金会——DFG资助)领导的研究项目“平流层:云上的信息管理”作为柏林工业大学、柏林洪堡大学和波茨坦Hasso-Plattner-Institut的合作项目启动。Flink从平流层分布式执行引擎的一个分支开始,并于2014年3月成为Apache孵化器项目。2014年12月,Flink被接受为Apache顶级项目。
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/
StreamX 是 Flink & Spark 极速开发脚手架,开源的流批一体一站式大数据平台。
随着互联网和移动互联网的发展,时下我们正处在一个大数据的时代。在数据金山的诱惑下,各个机构纷纷开始探索从数据中提取洞见并指导实践的可能。而在这个需求的刺激下,在过去数年,大数据开源生态圈得到了长足的发展——在数据的整个生命周期中,从收集到处理,一直到数据可视化和储存,各种开源技术框架林立。 以这些开源技术为基石,业内涌现出一系列令人敬佩的大数据架构实践,而《程序员》电子刊9月B大数据实战与技术专题则摘录了电商、金融、游戏等行业的大数据应用,并覆盖了当下热门的大数据开源技术实践与技术细节,如Hadoop、Sp
不熟悉流处理的同学可以关注下这两篇文章,什么是实时流式计算?https://mp.weixin.qq.com/s/1-rE6aayiDIK0dA0j_EG9w
ChunJun(原FlinkX)是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具。2018年4月,秉承着开源共享的理念,数栈技术团队在github上开源了FlinkX,承蒙各位开发者的合作共建,FlinkX得到了快速发展。
在具体的实施中,基于华为MRS 3.2.0安全模式带kerberos认证的Kafka2.4、Flink1.15、Hadoop3.3.1、Hive3.1,调度平台为开源dolphinscheduler。
2018和2019年是大数据领域蓬勃发展的两年,自2019年伊始,实时流计算技术开始步入普通开发者视线,各大公司都在不遗余力地试用新的流计算框架,实时流计算引擎Spark Streaming、Kafka Streaming、Beam和Flink持续火爆。
StreamPark[1] 在 9 月 1 号顺利通过投票,正式成为全球最大的开源基金会 Apache 软件基金会 (ASF) 的孵化项目。这是 StreamPark 项目的新起点,意味着开源社区化协作将会变得更加规范以及国际化。
在2021年10月24日的程序员节前夕,文末丶为大家带来了新内容 Dlink-0.3.2 。时隔两月才为大家带来新内容,在此向大家致歉。当然,开源之路一定会坚持下去,会为大家带来更多的新内容,也希望有志之士可以共建社区。
领取专属 10元无门槛券
手把手带您无忧上云