专栏首页CNCF成员网研会:Flink操作器 = Beam-on-Flink-on-K8s(视频+PDF)

成员网研会:Flink操作器 = Beam-on-Flink-on-K8s(视频+PDF)

讲者:Aniket Mokashi,工程经理 @谷歌;Dagang Wei,软件工程师 @谷歌

开源一直是谷歌云的数据和分析策略的核心支柱。从2004年的map reduce论文开始,到最近发布的用于ML的Tensorflow开源版本,用于数据处理的Apache Beam,甚至Kubernetes本身,谷歌已经围绕它的开源技术和跨公司边界建立了社区。

大量传统企业正在规划以混合云和多云为核心的云转型。Kubernetes提供了一个平台,可以轻松地将应用程序从本地移植到各种公共云上。最近,谷歌的云Dataproc团队接受了在基于Kubernetes的集群的Flink runner上运行Apache Beam的挑战。这种架构为使用Python提供了一个很好的选择,并且在你的数据流水线中提供了大量的机器学习库。然而,Beam-on-Flink-on-K8s堆栈带来了很多复杂性。这些复杂性就是为什么我们构建了一个完全开源的Flink操作器(Operator),它不仅抽象了运行这些复杂流水线的谷歌最佳实践,而且还提供了一组紧密的API,使在你的公司中运行Flink流水线变得很容易。

加入我们的会议,深入了解Kubernetes的Flink操作器。你将深入了解我们在Kubernetes上运行Flink的最佳实践,其中包括何时使用边车(sidecar)容器、如何对外部存储进行检查点以及与云安全模型的集成等概念。你将了解如何将这些技术应用到自己的云应用程序中。此外,你将学习如何扩展自己的服务,并了解成为项目的贡献者是多么容易!

视频

视频内容

PDF

https://www.cncf.io/wp-content/uploads/2020/02/CNCF-Webinar_-Apache-Flink-on-Kubernetes-Operator-1.pdf

参与网络研讨会

CNCF网络研讨会是教育新成员和现有社区成员了解趋势和新技术的好方法。我们正在寻找项目维护者、CNCF成员、社区专家来分享他们的知识。网络研讨会是非推广性质的,专注于云原生空间中的教育和思想领导力。

本文分享自微信公众号 - CNCF(lf_cncf),作者:CNCF

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-02-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 成员网研会:Kubernetes入口网络的故事:外部负载平衡器的部署模式(视频+PDF)

    随着工作负载从遗留基础设施转移到Kubernetes平台,从外部将流量路由到Kubernetes可能会造成混乱。使用“Kubernetes Ingress(入口...

    CNCF
  • 监控Kubernetes,第一部分:挑战+数据来源

    我们的行业长期以来一直依赖基于微服务的架构来更快、更安全地交付软件。微服务的出现和无处不在自然为容器技术铺平了道路,使我们能够重新思考如何构建和部署我们的应用程...

    CNCF
  • 声明性数据基础设施为数据驱动企业提供动力

    大数据、人工智能/ML和现代分析技术已经渗透到商业世界,成为企业战略的关键元素,以更好地服务客户、更快地创新和保持领先的竞争。数据是所有这些的核心。在本博客中,...

    CNCF
  • 套路还是技巧?设计师如何更好的面试?

    静电说:在担任设计Leader的职业生涯中,我面试过不少设计师,有的给人感觉很不自信,有的则机灵懂事,有些不善言辞,有些夸夸其谈。有的自我介绍环节也很没有逻辑感...

    用户5009027
  • python元组与购物车程序

    #Author:zww ''' 程序:购物车程序 需求: 1.启动程序后,让用户输入工资,然后打印呢商品列表 2.允许用户根据商品编号购买商...

    用户1679793
  • 你的备库做好准备了吗(r7笔记第78天)

    这篇文章计划了一段时间,本来想写篇心情文字,还是留到周末再放飞心情吧。 今天的内容是关于数据库的备库的思考,当然我们可以自己问自己,我们的备库准备工作做好了吗?...

    jeanron100
  • 有一种改变未来架构演化方向的技术,叫Kubernetes

    2019年,是云原生理念和实践被广泛认可和传播的关键一年,作为未来云端及架构演进的新方向,在过去几年间,以 Kubernetes 为核心的“云原生”运动正不断扩...

    用户5224393
  • 备库关联查询的设计思考(r7笔记第41天)

    现在有一个需求,目前在开发的同学需要做一些查询,但是涉及的两个表在两个不同的数据库里面。就是下面的形式。从他们的反馈来看还需要做表关联,是统计业务相关,对于数据...

    jeanron100
  • pe创建激活administrator后消除问题,删除用户问题

    启动pe进入电脑,打开清楚密码,然后选择administrator,点击激活。然后就可以用administrator登陆电脑。 使用完毕后,想要注销admini...

    Ryan-Miao
  • 10g 一主多备的搭建技巧(r6笔记第13天)

    在数据库环境中,一主一备是比较传统的使用方式,在灾难发生的时候,可以灵活的切换主备角色,依然可以保持服务的可访问性。但是一些核心系统来说还是会有更多的过滤,一主...

    jeanron100

扫码关注云+社区

领取腾讯云代金券