00:00
再接下来呢,就是要还有一个跟Spark的问题,这个问题呢,在你编译的过程中并不会暴露出来,但是在你使用的时候才会出问题,就如果你我看我没有把报错写上来啊,看这里就好,我就不再演示了啊,也就是说如果你没有解决我这个事儿的话,你在编译完成之后,你用Spark来操作互地表啊,你能进去,但是呢,你再往一张互利表插入数据的时候,你执行一个insert,他会报错,哎,他说找不到一个方法,什么方法呢?什么阿帕提的阶梯。这个相关的错,那这个东西呢,是为什么呢?我跟大家讲一下啊,因为它这边呢是Spark拈,它会用到一些have的依赖,那由于hi的依赖咱们已经改成了3.1.2对不对,那它本身携带了什么阶体,那忽底它本身的common模块,呃,它也有一个阶梯,说白了就是什么版就阶体的依赖冲突问题,所以咱们这个问题要手动去解决一下啊解决一下。
01:09
那么大家可以看到,呃。Hi府携带的是0.9.3,忽Di本身用的是0.9.4啊,存在一个依赖冲突啊,所以这个时候我们要去修改一个依赖排除D版本的阶梯,那么大家注意我们改的是哪一个里边啊,是whodi Spark绑定的这个模块啊,你不要改错地方了,这个模块才需要改啊。好,那具体在哪呢?来我告诉大家,呃,在源码路径下面呢,你找这个。Packaging对吧,在这个里面好在这个里面大家看一下,它有各种绑定的什么什么ble对吧,那有哈Lu的,有hi的,有pstal Spark是呃,有flink对吧,那我们需要改的是这个d Spark好进来CD d Spark进来之后直接打开啊看一下吧,它里边其实就是什么一个源码,一个泡门键,那么直接打开泡门键,它这里边你搜have,再往下你看它会包含一些have的依赖呢啊have的依赖。
02:25
好,那再往下搜啊,不搜了,我们直接看吧,呃,大概在300多行的位置有一个have的,比如说我搜它吧,Have service,诶你看这边是have的依赖啊,Have的依赖那在这里呢,我们它引入了,你看have版本我们已经改为什么3.1.2啊3.1.2,所以会有问题啊,那就挨个加呗,来吧,看一下啊,应该大概是在382行的位置啊。啊,我给你改一下位置啊,382,那在后面我们加一个排除啊,你直接拷贝就行了啊,这是我已经改过的。
03:09
诶,他已经排除了一个了,已经排除一个,我看啊,那么直接添加这几个就行,添加这三个啊,我在这里添加这三个。还没完呢,这只是第一个依赖,要改,再往下这个什么service rpc,再往下翻,Service rpc不用动,再往下have JD bc还是要排除啊。啊,在这FCDBC,嗯。拷贝粘贴啊,注意这边就需要大家细心一点,不要粘错了啊,好,Have me store一样的啊,要排除一些,这是me。
04:03
啊,在上面。粘贴好再往下走,还有一个hi空门啊,也有一些阶梯。Have common对吧,在这。粘贴好,那最后呢,我们再手动加一个阶梯啊,咱们需要的啊。增加一个护地版本,那我标红的部分你就整体什么一起拷贝就行了,直接在主keep前面在这里啊,直接粘贴加这么几个依赖,那这样的话就能搞定我前面说的这个问题,当然如果你用不到Spark,或者说你只想要flink,那这个事你可以不做啊,也就是说Spark的这个包你不用呗。好吧,那由于可能大家不一定会用什么,所以我就都讲了啊。好保存退出,那这样就OK了,那前面讲到的这几个问题,就是一些坑啊,给大家说一说。
05:09
那跟Spark使用了一些依赖问题,那还有一个地方,呃是另一个拈是我们的who d udi这个拈啊,因为在这个拈当中有一个功能,有一个导入的工具,叫做德尔塔streamer啊,那在我们后面也会介绍到,在Spark集成这一块有个4.5啊导入工具,这个拈里边也可以去跟呃,Hi做一个同步,那这个时候就涉及到跟hi3.1.2这个阶梯的问题了,所以呢,这个拈同样要做相同的操作,要排除阶梯啊好,那就同样的我们来做呗,好我们看一下就是有这边有一个U啊进来who迪us。
06:00
诶啊,然后修改它的po文件,那么大概应该是在400多行的位置啊,我看一下四百零五行的位置。啊,它这里你看到没有,它也有一个have依赖,那有一堆东西都没有排除,那我们还是相同的啊,啊第一个service还是添加一个排除疑难好。再往下这个RPC不用管,再往下这个JDBC还是要做一个排除。再往下看呢,这个mato也要应该也是要做排除的啊。好,再往下有一个have common也排除一下,呃,往下走往下走,诶,这是最后一个了,那同样的再往下就到其他的地方去了,对吧,那这个时候我们再引入一个秃底对应版本的阶梯就可以了啊。
07:16
把这个添加进来。嗯,我加在这个后面吧,在主keepper前面啊这里好,那么这样呢就可以了。那回头这个呢。我们再去使用,就也不会出现说那个阶梯的报错了啊,这样就OK了。
我来说两句