00:00
首先我们来了解一下什么是差。String的初衷和设计的目标就是为了让我们的流式应用啊,主要是flink开发更加的简单,那后期呢,也会对Spark做一个支持。那如果我们使用stream它进行开发。能够很有效的帮我们降低一个学习门槛,还有一个开发门槛。那学习门槛呢,呃,或者说学习成本,并不是说我就不用再去学flink啊,基本的使用原理你得会,但是一些基础配置你就不用,呃,环境搭建就不用再去很复杂的去操作啊,那这样的话使用起来就非常的方便,快呃快速。那这个时候作为一名开发者啊,我们只需要关心最核心的业务逻辑,我只要把业务逻辑实现,那其他的7788环境啊,配置啊,啊,参数啊等等啊,你就不用过多的去关心了。那通过对应差呢,可以规范我们的一个是项目配置。
01:02
还有一个函数式编程,当然,呃,函数式编程就看你个人需要了啊呃,而且呢,它本身除了flink的API之外,我们也可以用STEM差提供了一些API来写,能够更加有效的简化我们的代码。并且呢,它提供了一系列开箱即用的connect。比如说,呃,像可。连接器。官方并没有提供,那一般我们工作中用的,要么直接用JDBC的连接器,要么就是用第三方的啊,别人做好的一些连接器,那这边是这叉,它也提供了这些连接器啊。同时呢,它标准化了我们的一些配置,开发、测试、部署,监控、运维,可以说是一条龙服务啊,整套下来,我们通过在前端页面点点点。啊就可以了,这样使用起来就特别方便,尤其对于中小公司啊,你初期构建流式应用的时候,那么如果能够使用指正差能够啊,提高你的工作效率啊,非常的方便。
02:10
也可以节省大量的时间。那我们flink底层呢,可支持SC,呃,主要就是一个Java对吧,不支持都可以。那水电差的目的,呃,一样的,我们打造一个一站式的大数据平台,对吧,那未来呢,什么牛皮一体,湖塘一体的解决方案都可以,呃,利用水正差来构建。总体我们总结下来就是这么一句话啊,让开发更简单。就五个字。那初期的版本目前呢啊,就是实现了对flink应用的一个支持,那Spark的支持啊,正在添加和测试当中。那我们来了解一下stream差的一些特色,第一个呢,开发脚手架。它是一个开发脚手架啊,咱们简单来讲什么叫脚手架呀,一般是建筑领域对吧?啊,你造房子盖房子是不是得有一个脚手架对吧?那脚手架的目的就是方便啊,那对于我们开发领域来讲,就是一些常规基础通用的配置啊,你指定好在一个地方写好,那你有多个呃类或者多个地方需要引用到,那直接去引用就可以了啊,说白了。
03:24
是不方便我们的开发是吧?啊,特别是一些通用配置,比如说像呃买车口数据库配置啊,卡不卡的配置啊等等,是不是你要去连接他们都要去写对应的一些参数,对吧?啊,那通过这种方式就比较简单啊,说白了啊,就是方便啊,我们去开发啊,尽量复用啊一些东西。另外一个要注意的是它支持的flink版本啊,如果你的版本比较早。那可能还不太支持啊,有一些兼容性的问题。呃,那它支持的是弗林1.12及以上的版本。另外呢,你。
04:00
可以支持多个版本的flink,也就是说如果你企业里面,比如说既有flink1.12,又有flink1.13,又有flink1.14啊,那可以可以通过stream差来分别管理,那假如你写了一个代码。呃,你要提交啊,你想要提交到你们老集群flink老的集群啊,1.12可以,那如果你想提交新的版本flink测试一下啊,再提交一个到1.14也可以,也就是说你可以选择提交到哪个版本的flink啊,这是一个对多版本的管理。另外一个刚才提到了开提供了一些开箱即用的connect,可以说我们比较常用的一些,除了官方提供之外啊,又提供了一些常用的连接器,像刚才提到的click house。另外呢,呃,支持项目编译功能,呃作为一名开发应该都了解一个词,是不是叫CIICD对吧?持续集成,持续部署啊,就是我代码提交到GI上面去之后啊啊,我的自动构建,自动测试出报告出结果,甚至说自动部署到呃目标服务器啊,就是CD嘛,啊咱们简单来理解,那对于这个是正发来讲啊,我们只需要什么呢?将代码提交到G。
05:21
相关的平台,那GIHUB大家肯定知道,但我们公司肯定不会用这种公网的,一般是不是自己装一个GI lab对吧?啊,这是公司内网用的,那同样也是用GI操作,那代码发布到git lab啊,然后呢。只需要在string插配置呃,项目的get那B地址,然后呢,String插会自己去拉取构建啊,通过每编译和构建啊这些都都是非常方便,只需要在前端点一下就OK了啊,可以说特别特别的方便啊呃,还有一些参数哎,属于多参数的配置啊,那这样就是你有特殊特定的需求,特定参数要指定啊都允许。
06:05
那支持flink各种各样的模式进行提交,你可以是基器基于呃雅N对吧,那雅安又分为Yan sessionn job啊,Ya安application啊都可以啊,你只需要在前端页面勾选一下运行提交的模式就可以了,同样呢,它也支持K8S。啊差也支持基于K8S。那像我们日常的一些操作啊,比如说我任务的启动啊,啊停止啊,还有我要更新代码啊这些以前啊,可能你手动操作还是麻烦一点,对吧,那现在你只需要在页面上点一下勾勾选选就能完成了,尤其比如说我们要更新代码,是不是要先将旧的一些作业先把它停止掉。对吧,并且要指定复发safe point修呃之后呢,再将新的代码启动,并且指定从safe point恢复啊,那这一系列的操作。
07:01
对于差来讲,就是点一下停止。然后呢?停止的时候选择哎保存safe point那就完事了,那启动的时候也一样,点一下启动按钮,勾选上从safe point恢复啊就行了啊,就特别简单。另外呢,也支持火焰图啊,那我们知道呢,Flink在1.13之前。我们要分析它的一个性能瓶颈的时候,经常借助于火焰图啊,这个是第三方的,呃,不算是flink的东西是吧?啊,那这个时候你可能要自己安装一些呃,Friend啊或者per这种工具。那1.13flink官方就提供了火焰图集成到沃UI啊,那首先它这一块也对火焰图做了一个支持啊,可以方便大家去查看啊。那同时呢,也支持一种在线任务开发,也就是说我给你一个文本框啊,让你去写,比如说你写了一段flink circle啊,其他都不用管,写完之后你直接点击什么啊,提交运行就可以了啊,这个任务就跑起来,这个呢其实有点像flink客户端对吧,Circle客户端啊那种用法。
08:15
这个时候,我们只需要在string差页面写色口提交就OK了。还有呢,项目的一些配置啊,依赖版本啊,管理啊,这些都能够做的,呃,包括我们呃,常用的啊,生产常用的一些任务备份啊,回滚配置啊啊等等啊都支持,可以说一系列的都是方便我们操作。还有一个管理,什么像管理依赖啊,还有自定义的炸包啊,啊,这些也都支持和考虑到。啊,再往下看自定义的udf啊,连接器的支持啊,啊也可以很方便的去管理啊。还有一个flink circle we IDE啊,那这个呢,就是我刚才讲的啊,你在一个它的页面上有一个文本框啊,你去写circle,写完之后提交运行就OK了。
09:07
同时呢,对这个catalog have这些也都支持啊,还有一个我们特别关注的,呃,就我任路的监控和告警啊,这边主要是执行情况啊,不是具体的信息,像任务运行失败,哎,我们希望呃有一个告警。告警方式了,他现在也支持邮件对吧,另外我们也想要说失败能不能重试重启啊可以啊支持。可以说是一条龙服务啊,等等等等特别特别多,那我们从上往下看下来。每基本上每一个特点都是什么,方便开发,它是一个辅助性的框架和平台。对吧,一站式的开发平台,那他呢,还有一个最重要的,我觉得是不不侵入flink。也就是说他不会改变flink他自己的架构啊,依赖啊什么一些东西啊,他只是对flink的一种使用方式简化啊,平台化的管理,那其实很多公司内部是不是自己也会开发一些握IDE啊这种平台啊。
10:10
对吧,那这个时string差,我们就可以快速方便的来用。那大家可以看到正在使用STEM差的一些公司啊,那像什么百度啊,还有咱们的上硅谷啊,还有等等。一些,当然这边不仅仅是这些,还有很多那斯顿它是一个快速在快速发展的一个项目,同时呢,其实它也受到了我们那个开源工中国的一些奖项,对吧,还有集体的一些奖项项,集体的GP啊,还有OC开开源中国最受欢迎项目之一,这些都是比较有含金量的一些荣誉。那如果有兴趣。呃,贡献开源的一些同学。啊,小伙伴们,那其实我觉得它就是很值得大家去投入的一个项目,因为它处于一个快速增长,快速发展的一个阶段,而且呢,关注的人数越来越多,像弗link团队也已经关注到了这个项目。
11:11
那其实这个时候大家进度早期肯定是比较好的啊,那如果后期发展的比较成熟完善,你再要去加入可能就啊没那么快了,对吧。
我来说两句