00:00
那么接下来呢,我们就来上手体验一下啊,那首先我们创建一个新的工程啊,带领大家一步一步的操作一遍,这个特别简单啊。好,那我选择创建新工程。选择呢一个美美项目。啊,下一步。啊,指定一下g AV啊,比如说我叫com.at硅谷点Li吧,然后A呢,我就指定为STEM叉,呃。下一步。啊,Finish。那接下来我们开发一个flink程序,是不是要导入一堆依赖呀,对吧,那这边我们直接拷过来啊。
01:10
啊,拷到泡沫键里面。Pot。等他把一代下载完。那这边要注意啊,如果你用用时最差的话,首先你这个SC版本没得选,一定是2.11啊2.1。那我们看一下导入依赖有哪一些啊,首先第一个flink核心的几个依赖,Flink Java flink GALA对吧。看你什么语言,那这边我们都倒了啊,还有呢,Flink是dreaming依赖啊,同样也分为Java版gava版啊,都导进来呗。啊,那还有一个客户端啊。还有一个运行时的页面,这个主要是用在idea运行的时候啊,能打开一个web UI啊。
02:03
那下面这几个就是stream差B导的依赖了啊,第一个是什么?你看这是stream差的啊,一个call啊。还有一个这个。那下面这个是如果你用到RODB,呃,这个状态后端的话啊,咱们是不是要导入RODB的依赖啊,啊,也就是说string差核心依赖就这两个啊这两个。下面就打包插件,那我们知道flink最好是用的插件来打包是吧,这也是flink官方推荐的方式。那就没啥了,这就是我们基础的依赖导入了,那么要提醒大家的一点啊,如果你用我的代码来跑,呃,注意我的作用域指定,为什么provided。这就要求我们呢?如果你写完代码,你点运行报错找不到类,那是因为我指定为providing啊,运行时它是找不到的,那有两种方式,第一种你要本地跑的时候,你先把它注掉啊,先把它注释掉啊,当然我不推荐这种方式啊,太low了,那一般来讲我们是点击这个run,然后有一个编辑什么编辑配置啊。
03:14
然后首先我们把模板改一下啊,里面找到一个application。哎,然后呢,这里有个勾啊,Include。Provided啊,也就是说我运行时作用率为provided的,它也会加载进来啊,把它勾上啊,那这样的话,回头我们每运行一个应用,它都会应用这个模板,它都会去加载依赖啊,这样就好了呗。一般都是比较好的一个使用习惯啊。这是第一个事儿啊,那接下来我们就开始呗,第一步先构造项目的基本配置。怎么构造啊?是不是assembly,还有那个SM文件,给他拷过来就行,对吧,那你可以从。呃,从官官官方提供的这个地方去拷贝。
04:02
啊,没问题,那这里我也给大家提供到了啊,在资料里面有一个啊,不是啊,在代码里面有一个STEMAPI啊,配置模板文件啊,你把它解压。解压完之后里面你看该有的都有,首先是这两个啊,Assembly拷贝呃,然后在工程跟路径粘贴。这就完事了。那还有呢,如果你想要打,呃,设置一些日志啊啊,又提供了一个log back文件。卡位放到resources下面啊粘贴。这项目的基本配置就完事了呀。在接下来我们要干嘛呢?我们要修改的只有一个地方叫什么?Application。那比如说呀。比如说我要把部署模式改成application,可以吧?啊,允许啊。
05:03
Pipeline内作业名称。啊,比如说啊,那就叫这个呗,啊使劲叉卡夫卡DEMO。然后这里可以指定一个什么主类名,这个是主类名啊,我们现在还没创建嘛,啊,一会儿再来啊,这些是一些资源配置。你根据需要可以去改,那我现在就不改了,需要po啊这些配置what呀,状态后端呢啊就保持默认嘛。然后这用的是B啊streaming。还有可以配置一个卡夫卡啊JDBC,那我要改成我自个儿的啊。呃,这个是复杂用法啊,我先注掉。那么先拿一个最简单的啊。比如说我读取卡夫卡,那我们就用卡夫卡点S,然后要指定卡夫卡的一些东西啊,比如说这个是哈一啊。阿杜二。啊,杜三,呃,Topic呢一可以啊,艾特硅谷。
06:03
然后offset策略好。那我如果要写到买circle。那该怎么写对吧,那就指定一个JDBC,呃,Driver class name啊,驱动名。URL改一下,呃,我是哈杜一啊3306TEST库啊,再给大家看一下呗,啊一会再看吧。账号跟密码啊,我密码现在是六个A啊,你们根据需要去改。那有的人可能有疑问,我怎么知道外部系统有哪些参数啊?这是人家STEM它底层定义好的,那你可以在哪看呢?你可以点开这个差啊,然后点这个文档。啊,这里有一个什么项目配置。项目配置里面呢。往下翻。
07:00
这里就有。介绍对吧。每一个该怎么用,那再往下拉。每个参数什么意思,也都给大家做了一个介绍。啊,每个分类那支持什么呢?通通都在这个页面。通通都在这个页面。那比如说connect connect,那比如说卡夫卡的connect,首先得倒依赖另外呃。在这里需要配置文件加什么,这里是不是写了,有哪些参数可以指定,你要根据规范来啊,你要跟他一样保持一样,再比如说JDBC的,我要买蛇口用JDBC,我该怎么写呢?配置文件该怎么写,应该这么写。这就是我们,呃。这个application这个文件啊,上面是基本的,下面是各种各样connect的配置啊,比如说这是卡connect,这个是d bc connect,我参数没写全啊,有些我没写,像比如说。
08:08
JDBC的这个connect是stream提供的,那么大家要注意的是,你看这句话,Flink官方提供的JDBC连接器。只能提供什么至少一次的语音,那STEM8给我们提供了这个连接器啊,它。基于两阶段提交实现了什么?仅有一次。对吧,而且使用了一个什么连接词。这是对叉帮我们封装的啊。这就是我们要基础的一些配置,基础的一些配置。那还没完啊,我们是不是还得导对应连接器的依赖啊,对吧,比如说卡夫卡的一个依赖啊,我们导进来。在破门键啊往下拉。找到这里。
09:01
导进来。那配置我们改完了对吧。
我来说两句