00:00
接下来我们了解一下stream差的一个架构。那正差的架构主要有三部分组成,那我们看这张图,现在只有两部分啊,一个是Co,一个是console。对吧,一个核心模块,一个console,那么还有一个是pump啊抽水机这个目前在规划中啊,主要有三个核心模块,那我们分别来了解一下啊,第一个core模块,它是一个开发时的框架啊,也就是说它封装了一个flink的SDK。他呢,呃,主要是其实对flink的一些API做了一个封装,比如说呀,我们写flink代码的时候,是不是要先初始化环境啊。执行时环境,比如说呃,Streaming execution,呃,Environment对吧,呃,然后呢,做一些事,那么通过stream差提供的A呢,就行就行了,就可能把初始化的啊,就一步一一啊封装好的一些API啊,核心就这些啊另外呢,除此之外。
01:09
啊,刚才那个是方便我们开发。呃,除此之外,它还提供了一些什么连接器,Connect。像比如说官方没有提供的,像克里house的连接器啊,还有比较火的呃,Doris的连接器啊等等。那除此之外呢?他还扩展了,对他是有相关的方法融合了。Data string API,还有circle的API,那使我们的操作更加的简化,这样的话我们就关注于业务本身啊,关注逻辑本身,也就是说这样呢,呃,能够实现一个开发效率的提升,这一块我们回头呢,去使用过程中也可以来体验和感受一下。那么另外一块呢,是pump抽水机,这块主要是用来做一个数据迁移和数据同步的。
02:05
数据抽取啊,那有点像,呃,我们那个flink叉啊,这也是一个开源的目前啊。但是呢?这个抽水机可以基于他自个儿提供了一些连接器啊,做一些。呃,同步从各种各样的外部系统。但目前目前呢还在规划中,也就说还没有正式上,所以呢,我们目前架构图还看不到的。那string这个呢,是。比较主要模块啊,它是一个综合的实施数据平台,而且呢,也称为什么低代码平台,现在比较火,比较流行低代码对吧?啊,一些环境啊,配置啊,啊,一些固定写法呀啊等等东西都给你省略了啊,你只需要配置文件啊,配置好,其次呢,就简简单单的。写几行代码就可以了。
03:00
而且它集成了什么呢?项目的编译。项目的发布。啊,这些都是一条龙的啊,我们前面也讲过啊,还有一些参数的配置啊,比如说我要连接卡,我们是不是得配置卡不卡的地址端口,还有一些参数,对吧,还有什么消费者组。等等一堆,再比如说我们要连接MYSQL,是不是也得要它的连接地址、账号、密码?等等是吧,啊,类似的一些参数,它可以统一进行管理和配置,另外呢,我们项目的启停啊,前面也讲了,甚至启停时要不要做,呃,或者从safe point恢复也都支持啊,在页面上操作即可,非常的方便。它还有呢,分析性能瓶颈的一个火焰图功能啊,他也帮我们做了啊。还有呢,呃,非常方便使用的一个circle啊,直接去页面上写就可以。那这样就能大大简化我们日常的一个,特别是整个项目的维护啊,还有发布啊,一条龙服务全部搞定。
04:06
那特别是我们说的,呃,一些中小企业,或者你起步阶段刚要搭建,如果一开始就借助STEM差,那可以就可以非常快速方便高效啊,去构建你的流失应用,那甚至呢,你未来做流批一体也可以依赖它来做一个管理也可以啊,所以它我们称之为是一站式的大数据解决方案,那同时我们去安装和部署的时候,主要装的也是这个cons这个模块。这个就是我们整体的一个架构,那我们简简单再来聊一聊啊,这个console又分为什么呢?啊前后端。那后端呢,是基于spring,也就是基于Java语言来编写的,那里面就涉及到很多模块了,它帮我们实现的啊,像权限的管理,项目的管理,任务管理,还有配置管理,依赖管理。
05:00
还有那种notebook的方式去写编辑开发啊,还有一些监控,你看这些模块基本是非常常用啊,那同时呢,都帮我们做好集成好了,那基于前端呢,那肯定有,呃,就是我们去访问的一个页面,那这一块呢,主要是通过view去写的,对吧啊。那像我们circle的一个编辑框啊,配置编辑,妹妹依赖的编辑版本的比较,还有火焰图等等都有。大家回头都可以一起来体验一下,那中间呢,又提供了很多插件,像我们的SQL解析。还有各种各样的支持。UDF啊什么功能啊,对吧,啊,这都支持那部署模式呢,现在目前呢,支持雅恩和K8S。啊,都是支持的,都是我们比较常用的一些部署模式,那当然传统的stand alone也是允许也是支持,啊,基本上全部都支持,这就是我们一个STEM。
我来说两句