00:00
好,接下来呢,我们来看一下卡夫卡呢,集成对应的Spark。那么这个Spark呀,跟这个卡法进行集成的时候,可以作为生产者,也可以作为对的消费者。哎,那这个呢,在生产环境当中用的是非常非常多的,那下面我们就来继承一下,首先呢,仍然是先继承一下Spark生产者和对应的卡卡好。那这里需要准备一些环境,第一个呢就是SC,那为什么要准备这个SC呢?哎,主要原因是因为Spark的底层源码是用SC来编写的,所以说要有这个哈,那这也不难,双击打开。打开之后我们按照这个步骤啊去装一下,首先在我们电脑的本地上要安装一个JDK,那对于咱们老程序员来说,这个应该不是什么问题,那需要呢,下载SKY对应的这个安装包啊,那这是它,那这个已经给大家下好了啊,下好了在哪呢?在这里面资料包对应的SC版本。这儿的啊,是它把它解压到哪呢?哎,看笔记把它解压到对应的E啊E盘啊02SO,那当然了,你可以解压到你所在的呃,管理软件的一个位置哈,那你看一下我的。
01:12
在这里面software对应的像它,哎,在这儿呢哈,那解压完毕之后,你需要配置它对应的环境变量,那环境变量打开属性。属性在这里面有一个高级系统设置啊,在右边。点开之后,在它右下角有一个环境变量点开,然后下面配置对应的scar home在这呢啊home配置完毕之后,在它的pass路径里面这儿双击打开,这里面必须关联一下the home闭目录啊,这个环境变量大家一定要会啊配置完,那配置完之后有没有成功呢?摁一下B加R啊V加R。啊,SC打一下SC,哎,这里面能出现对应的SC版本,说明你这个SC环境已经安装完毕了,那接下来往下走。
02:01
它安装完毕之后,那下面我们来看一下Spark环境的一个准备,那我们需要创建一个main温工程。来呗。有一个。Ma项目N。是他Spark杠卡不卡。创建完毕之后,那下边我们做一些准备操作,第一个准备操作就是哎,需要勾选一下SC的一个支持,那这个怎么添加呢。非常简单,来到项目上右键有一个它添加框架支持,然后往下拉。找对应的SCOK。哎,这样就添加完毕了,那下面继续往下走,下面呢是在main方法下创建一个SC文件包。在这里面。文件夹啊。添加完毕之后,你需要对它进行一个啊,不是在这儿啊,在这儿右键。好在这下面啊,这把它删掉。
03:02
在这下边添加完毕之后右键,然后有一个。这个哎,标记为源码包啊,这样就OK了啊,变成蓝色行,那往下走,下边呢,需要创建一个包名com at硅谷Spark。报名。整这样就OK了,那下面再往下走,需要添加对应的配置文件,那配置文件呢,就是对应的Spark streaming卡夫卡对应的这个版本啊拿过来。添加到这里面。就这么一个依赖,添加完毕之后,回来开始添加一下这个log附件。把它放到对应的resource目录下。走。再把它拿过来。OK,那这里面我这个级别啊,是I卓级别,那正常情况下你可以放上这个in啊,只不过打印的信息会更多一些啊。那先往下看,那下面呢,我们来写一下这个类名啊,Spark卡卡producer生产者。
04:04
你有一个,哎,你有一个SC代码啊,Sky object啊,你有个他。用过它之后,那下面我们来写一下main方法,现在呢,这里面所有代码都是SC代码啊,那这一步叫创建一个生产者。那第二步呢?第二步叫发送数据。第三步,第三步就是对应的叫关闭资源。成,那如果是老司机的话呢,这里面应该还有一个D0步,D0步就是对应的叫配置信息。成,那首先来吧,创建一个生产者,又一个卡不卡。诶,那这里面没有任何提示是吧?哎,那你先把它报名先给他倒过来啊。先导包。倒完包之后,那就有了,你看。来对应的它,那这里面呢,第一个呢,传进来就是它的KV的类型,那都是这个实际类型,直接进行一个指定就可以了,然后CTRL加P,这里面呢,需要一个purpose,那你就给他一个purpose啊在这。
05:12
有一个pro.Y。那这样就返回了一个它,那好把它呢放到这里面去。好点,OK,那这个叫什么呢?哎,这个呢,就叫producer。行,那这里面我要想配置它的一些基本信息,比如说要连接上卡法集群,那怎么连呢?IP proper点。对应的key,那就是对应的producer。Con,第二,哎,第一个呢,就是BOO rap server啊。我们连一下叫HIDEOP102 9092,再来一个hi doop103对应的9092。OK,第一个必须连的,那下一个必须连的就是对应它的K和V的序列化,那purpose。
06:05
第二。或者。Con点哎,那这个呢,就是这个K序列化,好,那这个K系列化,哎,我们这个怎么写呢?哎,以前是这样写啊,啊s string系列化,呃,然后呢,点class你发现不对了啊,不能这样写,那怎么写呢?哎,非常简单,我们来一个class。Of,然后把这个string。哎,放进去,哎,这样就可以了,也是获取它对应的犬类名,OK。那下面呢,我们再来一个平平practice点不等。Producer。看点Y流,Y流对应的一个序列化。那这也仍然是class。String。哎,那这样就搞定了啊,当然这个分号你不写也行啊,在这个嗯,SC语言当中啊,放最后的分号是可以省略的,行,那这个写完之后,那下面来发送数据,那发送数据的话呢,我希望一下发送五条,那怎么写啊,比如说一。
07:11
Two four。那这样呢就OK了啊,那这个换个名字叭,如说哎,行,那这个是循环便列五次进行发送,那就是producer点调用这个散的方法,那散的方法里面呢,需要一个producer record,那你就new一个啊,PI12PRODUCER啊,Record。啊,需要一个它就填写一个它,那它对应的K的类型是string value6类型string。那里面我这里面需要填一个什么呢?哎,CTRL加P需要填的是你要发送哪一个主题for的主题FLST啊,For。好,那下一个呢,我这里面需要的对应的这个分区,哎,那你可以不指定,那我直接来一个最简单的就是这个Y。那就来一个艾特硅谷。加上对应的I,你看哎,这样就可以了,那最后呢,我们要关闭对应的一个资源。
08:05
那producer点对应的叫close。哎,这就写完了啊,非常简单啊,跟我们之前写的Java代码是非常非常类似啊,只不过呢,是换了一个这个SC语言而已啊,那下面呢,我们准备像一个。消费者发送数据呗。那结束这个。对吧,我们启动一个topic first,一个消费者,那下面向这里面发送数据,看行不行中。这边呢,就收到了五条消息,那就说明啊,这个Spark跟这个呃,卡卡呢进行一个集成啊,生产者这块就完成了啊。
我来说两句