00:00
好,接下来呢,我们继续往下讲啊,现在呢,是所有的这个程序的这个进程,嗯,我们都已经把它启动起来了,启动起来之后呢,我们要来到了这个第三章啊,第二章第二章的2.2。集成Atlas。因为之前我说过哈,这个atla呢,它本身自己自带了什么h base啊,Sor卡卡这些件。但是呢,我们没法去用,因为我们还需要,呃,外部的这些组件啊,相对来说更容易去,其他人也能够共同使用,那共同使用的话,那你就得我这个Atlas跟外部的你自己安装的HP和sor卡法进行一个关联,那怎么关联呢?那就在配置文件里面进行关联不就完了吗?哎,好,那么来看一下啊,首先呢,我们来到Atlas要集成HP。哎,记上一辈子。CD进到这里面,你一看这个目录啊,哪一个目录能够是存储的配置信息呢?
01:06
Com对吧,哎,存储存储这个配置文件的目录就这么几个,Com e DC,还有呢,对应的conig啊这么几个哈,来进入到C。进来之后找哪一个呢?这个application,这个属性,这个文件,我们日后会大量的一个配置使用啊,非常高频,这里面有N多个配置啊,别晕啊,一点点来哈,进来之后这里面的东西太多,我们采用检索的方式去搜索,比如说第一个呢,我们修改的是S存储数据的一个主机。比如说我们在哪里面存储这个HP跟它进行关联,还102103104,其实是主K的一个地址啊。检索这些呢,都是按照这个官网的要求去配的,你看官网也行,看咱们这个笔记文档也OK,只不过官网呢是这个英文的,你看起来会麻烦一些,所以说你直接看咱们这个,把这个地址配过来。
02:07
好,第一步。那这步完事之后,这是Atlas跟h base之间第一件事,之后呢,进入到OPT model Atlas comfort h base目录,添加h base的相关文件,那这个文件呢,你有两种方式,一种方式呢,是采用软连接的方式,将你安装了h base的目录下的内容软连接到你这个atla h base下。哎,都行啊,他俩之间这样的话就产生关系了,对吧?哎,那我们来一下啊。呃,那你看在当前这个目录下,这里面就有个我们希望的是把这个集群上。
03:00
这个目录下的所有的。com文件,比如说将这里的文件拷贝到当前这个目录下。啊,这是两个路径啊,PWD看了吗?这是,那拷贝的话有两种方式,一种是软连接嘛,杠S,那o BT model h base com。把他这里面内容链接。链接到当前目录啊,当前目录。就OK,那当然你要写绝对路径也行,OB BT model啊,然后呢,At。还。啊,一样的来看一下,这样的话就将这个外面外置的安装的HP链接到当前这个目录下了,啊就OK了哈,好,这是又一步,这一步完成之后,下面再次进入到Atlas的inv目录下,在这个路径下你需要添加一个h base的一个路径的环境变量,那这个h base呢,是at特LA刚把它拷贝过来,你看atla。
04:07
HS。啊,指向这个路径,其实就是你刚才考的不它吗?把它考到这了吗?哎,是一样的哈,那这块把它声明一下这个径。比如说日后啊,这个用到h base相关配置的时候,去这个路径下能够找得到就可以,比如说你来到这个路径下,它能找到它就行。那这里面有一个at en,哎,我们去关联它啊,Vm at env进来,Shift g来到末尾,哎,Env里面通常配置的都是环境变量。搞定,那现在呢,Atla就已经跟h base建立了对应的连接,那接下来再往下下一步呢,我们来集成一下sor,集成sorr的话仍然是打开at application purpose。打开它。
05:06
打开它之后找什么配置呢?找这个graph index searchr,主keepper,比如说R跟主keepper之间的一个通信,通信地址啊。拿过来搜索一下。好,搜索一下之后找到。So和主配包一个通信地址。这呢是主黑板的啊,1022181。OK。搞定,那这个搞定之后再往下来,下面呢是将Atlas自带的sor文件夹拷贝到外部的R这个机型各个节点。现在呢,是把Atlas里面自带的跟sor相关的配置信息文件夹拷贝到你刚才解压安装的那个sor里面去,让它们两个之间产生联系,那这个来看一下啊,对应的目录哈。
06:08
你看这里面除了刚才有关系贝之外,还有一个骚扰,你需要把它拷走,拷贝到哪,你需要把它拷贝到。这个目录下考虑到这里面对吧,哎,怎么考呢。CP。杠二,把原数据拷贝到o VT model solve里面去,拷完之后查看一下有没有。这里面就多了一个sor文件夹,那我们给它修改名称啊,因为这叫sor,你外部它还叫sor,你看这个路径嘛,你外部还有个路径叫sor啊,容易产生误会,那修改一下啊,骚R名称al。As,我给起个Atlas com,其实它存储的是Atlas里面R相关的一个配置信息,那这样呢,这个名称就修改好了,那再往下走,呃,这块呢,也已经拷贝完成之后呢,这块修改名称,修改名称之后我需要在sor里面创建三个啊,类似一个对象,这三个对象呢,呃,这个名称是固定的,为什么呢?因为你这个sor里面创建这个对应哈,我们一会要创建对应的这个啊组件。
07:25
啊,创业组件,这个组件类似于卡夫卡的那个topic。比如说你创建一个star,创建一个even,跟那个是类似的,但是这个名称你不能变,因为未来这个在减你这个的时候,它就找对应的这个组件名称一模一样,所以说你只能按照它去建,那这个建这个创建这个组件的时候,你看啊,后面有一个什么,呃,杠D呀,有什么sales-replication啥意思哈。这几个含义叫呢,表示该集合分片数为多少,它的一个切片,还有呢,每个分片数都有两个副本,就是对应的副本数啊副本数这呢是对应的这个相当于组件的一个集合名称。
08:15
啊,几个名称就是这样的一个含义哈,类似于我们卡不卡那个副本啊,啊分区啊,哎,是一样的道理哈,行,那我们先创建一下啊。之前。这叫集合啊,创建对应的集合,集合组件。应该没问题,接下来下一个。创建。之后再创建。这都是他官网给的哈,你得按照它官网的要求去配置。
09:06
行,那现在呢,这个骚呢,我们就配置完了,那配置完了,如果你想查看对应的骚相关信息,你可以把它打开。这是地址哈。你看这呢,就是sorry,刚才这个安装的啊,就这么重了,哎,这个这页面啊,我们创建了三个集合,三个集合,三个集合呢分了三片,每一个集合分了三片,然后每一片呢对应了两个副本,每一片对应的两个副本啊就是这样的一个要求哈,啊按照它官网去操作就可以了,那这个呢,直接关掉就行了啊,就是一个安装,它剩下的就是底层它会自己去调用啊,跟咱们没有关系。So,集成完毕之后,下面呢,我们再来集成一下卡夫卡,因为卡夫卡呢是去负责读原数据的,对吧,读原数据那么仍然是来到这个LA application。哎。
10:02
我去这里找吧。Application purpose进来,进来之后还是采用这个检索的方式去找哈,这。OK,那来到这个位置,这呢是一个通知使能啊,内部一个通知,那这个配置呢,我们要把它改成这个force啊。然后再往下走,下面呢,再有一个连接主keepper的一个地址,它默认的是local host,这个肯定不行,你就要给它改成对应的T1022181啊。拿回来好,那再往下呢,下面呢,这是你连接的卡夫卡对应的server服务器地址,那他也要干掉,我们要换成对应的我们的hi度1029092,比如说卡夫卡每台节点的呃,通讯地址。拿回来,然后再往下走,下面呢,这个呢是卡夫卡跟主题波连接的一个通信超时时间,那默认呢这是400毫秒,那这个也由于咱们这个电脑性能啊,如果比较差的话,我建议你们呢,把这块呢改大一点,比如说我呢加会加个零,那这样的话不至于它每次只要一连接不上就挂掉啊,他稍微来说呢,可以这个延迟一下这个挂掉这个时间啊啊。
11:23
嗯,那再往下,再往下呢,还有一个卡卡enable auto commit,这呢是把它提交成自动能。啊,自动智能。多了一个等号,哦哦哦哦。啊,这个等号啊,干掉啊,感谢啊,感谢各位老铁。呃,那这块呢,是这几个啊,OK,那我们再来,嗯,它之后它之后也就说现在的卡卡这块集成完毕往下走。集成完毕之后,后面来到哪呢?来到你对应的这个卡夫卡。
12:00
启个主题名称,必须也是这个名称,不能够修改。哎,也就是说爱赖底层它在读数据的时候,他就用这么两个topic去读数据,所以说你这个名字不能改。那把它拿过来创建一下对应的。好,来到这儿之后,右键创建。三个副本三个分区,OK,那这个创建完成之后,下一个。行,那也就是说新在呢,目前它已经跟卡夫卡之间建立了相应的连接,那建立连接之后,下面再来atla还有一些其他的配置,那比如说下面呢,呃,你要访问Atlas,它对应的这个web端口号和地址是什么样的,那这个呢,仍然我们需要配置,那还是来到这个atla application哈。
13:11
所以说这个配置呢是比较多,但是呢啊没有办法哈,因为它是属于这个版本号,你看是0.84,它并不是那么特别成熟,需要你参与的东西就会多一些哈。那来把这个配置一下。OKOK之后你看它默认指向的是local host21000,那这块呢,我们要换成我们对应的hi do102啊对应的主机以后呢,可以通过这个地址进行对外的一个访问,然后再往下呢,下面这块它默认的这个什么Atlas server run。啊,Start这个是false,那这个呢,你需要把它彻底的自动化,比如说把这个注释呢给它打开,否则的话它会自动的一个启动,我们不让它启动哈,好,那这个搞定false,再往下找,这里面还有一个Atlas h base主K的一个通信地址,把它也需要改一下。
14:11
嗯,需要改一下往下走啊,走到这儿。他默认都是老婆耗死他。好搞定,这样呢,就把它连接在一起了,对吧,哎主题本了,那这个连接在一起保存退出。啊,保存退出,保存退出之后,下面我们来到哪呢?来到这个Atlas log附近,这里面我们还需要处理一下at log近进来之后找往下找。找谁呢?找这块,这里面有一个log界这么一个注释,把它需要注释掉啊,让我们要观察它对应的打印日志的一些信息,干掉之后对应的一套在这儿呢,DD删掉。
15:04
删掉之后保存退出啊,保存退出啊是比较麻烦哈,现在比较麻烦,行,那这个呢也OK了,OK之后还有你还需要集成对应的have,因为我们这里面处理的是have的元数据,那你要集成have,那你还是要打开这个application part,在它末尾添加上跟have关联的对应的这些参数。啊,这都是从官网直接拿过来的,嗯,好比如说配置这个have相关参数,这个参数,呃,大概什么意思呢?就是你这里面at less这个。这里面正常运行,然后你正常大数据数仓。比如说have吧,Have在运行,那么如果have里面数据发生变化,它会要及时的通知这个,这个,让它这里面对应的图形页面刷新。那他怎么及时通新呢?为什么他要通这个及时更新呢。哎,这里面的配置呢,就是用到这个H叫钩子啊,类似于钩子这个说法,诶这只要一变化立刻啊,就这面就发生变化,相当于是一个监听啊监听操作,那这块呢,就是配置它的。
16:12
配置了have的一个监听,嗯,V'Ms application啊直接放到末尾啊添加。对应的have相关主题。好搞定,那这个搞定之后啊,再来再来下面这块呢,就跟官网有点区别了,有点区别了哈,也就是说要将我们刚才配置完的这个Atlas application purpose这个文件加入到Atlas一个插件的价包里面,要压缩进去。哎,官网上没有这一步,但是你要不加这一步的话,它这里面用的还是老的,所以说操作起来就是你上面这白配置啊,不起作用啊,这就是好多人呢,这个自己去用这个官方啊,官方操作啊,不能够正常使用的原因就在这。
17:02
啊,它那个官网写的不是特别好,那行,那这块呢,我们需要把它压到这里面去,那压谁呢?压的是这个将OPT model com下的这个配置文件压缩到对应的这个夹包,那我们先找一下这个夹包哈,这个夹包叫atla h t里面。在Atlas hook。它这个包里面啊,这里面里面有对应的have进入到have,因为它连接的是have嘛,那havell里面有一个Atlas啊插件plus啊,0.84这个加包,它目前大小呢,是17483,那现在。我们来执行这个操作,这。看好了啊,这条语句的含义是将这个目录下的我们刚才修改的application压缩到这个目录。啊,压缩到这个这这个夹包上。
18:01
来看好。压缩完毕,现在呢,由它的17483变成了21154,哎,它已经进行了一个更新,更新操作之后别忘了还有再往下找,从这这块也很关键,需要你拷贝刚才的这个at less application purpose,拷贝到对应的你的have的抗洪目录包下,这一步必须要弄,你不弄的话。那你这个have是起不来的。啊,这块呢,是昨天我在练习的时候,其实这块我就忘了啊,这个标的红啊,我还给忘了,忘了之后呢,后面你整个还要启动起来啊,就是要再拷贝一份,把这个它拷贝到这个目录下。这都是官网没写的哈。官网里面没写,但是呢,你也得去做,你需要检查一下,比如说进入到have,进入到have的这个目录下。目录下呢,这里面就多了一个application purpose啊,这样呢就OK了。
19:01
OK之后往下走,嗯,再往下走的话,你需要在你的have的HD set这里面再进行一个配置,配置什么呢?这个后就是一个勾子。啊,这条属性呢,你才需要给它把它加上。是不是好多同学都已经崩溃了啊,这么多配置,这就是这样,没办法啊,没办法啊,Vm have set。进来往下走添加。行,那这个钩子呢,已经安装上了啊,安装上了还没完啊还没完,你仍然在需要在这个have,因为因为里面再添加上对应的架包,比如说引入的外部基站,之前我们在配置tag引擎的时候,配置了一个o model had度2.7.2下有一个拉罗,还有一个呢是TS相关的夹包,那本次呢,我们需要额外再引入两个夹包,分别是艾特LA插件,就是我们刚才往把这个配置文件压缩到这个夹包里面的,还有一个呢,是have bridge什么桥的一个夹包啊这两个夹包呢,需要你个外在引入一下。
20:14
那把这个拿过来哈。为M。还有因为。OK啊,来到末尾这个大家记,那你原来这个哈,原来这个要注意,你可以先把它删掉。哎,我先插进来吧,擦掉之后再删。哎,前面呢这块呢是哎这些配置,然后之后关联上它啊有之前啊个别同学他配怎么配置呢,他这个没删,他又声明了一下这个变量,然后呢,把这个删掉,这样它这样操作了,直接填两下包,那这样会导致什么呢?会导致你下面这个变量会覆盖了你上面这个值,把它干掉了,把它干掉的后果就是你太子引擎启动不了了。啊亲楚,那你想既想要TD引擎启动,同时也想让这个额外添加的这个艾代加包能够工作,那你就在它末尾对吧?啊,末尾给它再加上这个追加,类似于那个pass路径啊,Pass路径啊,比如说我们先获取Dollar pass这个值,然后冒号拼接上后续的这个额外你再添加的加包。
21:20
哎,是这样的一个操作哈,行,那我把上面这个呢删掉。嗯。DD啊保存啊行,那这个呢,就OOKOK之后,呃,现在呢,就整个的所有的atla集成就OK了,OK之后呢,我们需要启动哈,启动hi豆,我们已经启完了主kper启动完了卡普卡启动OK OK serve OK之后呢,来到这个Atlas这块,启动atla啊,启动atla。
22:04
OBD model at进入到这里面B目录,B目录下面有一个at less start派,其实它是一个脚本哈。来启动,启动的话,它的时间呢,稍微长一些啊,它会打这个点啊,它一会呢,就会点点点点点点啊,一直到这个位置的时候啊,应该差不多。看一下能不能给力啊,哎,开始走了哈,开始走了。配置文件很多,但是你不需要去记,因为什么呢?因为它都是官方手册给你的,他官方要求你怎么办你就怎么办。嗯,爱特LA呢,目前咱们用的是0.84这个版本哈,啊官网呢,目前有一个2.0那个2.0,其实它没有0.84新啊,这个很奇怪哈,呃,0.84为什么呢?它当初啊这个呃,启动一个0.8几之后,突然间来了一个22.0,但2.0的好像不是特别稳定,他又给下线了,下线之后呢,又维护这个0.84啊0.84,然后最近这一个月啊,这个2.0呢又起来了啊,又排到他后面去了。
23:19
啊,所以这个挺有意思的哈。比如说他研究2.0的时候呢,功能应该出现了一个巨大的bug。目前企业里面用的这个比较多的是0.84。2.0的用的少,有用的啊,但是确实少啊,少一些,所以咱们选择的是呃,当前比较稳定的一个版本。但是稳定版本啊,这个功能我总觉得它有点弱,嗯,还是有点弱,看他后续的一个升级维护吧。快了啊,这个要到头的话,基本上就能启动起来。到头之后呢,我们可以通过这个外部界面,我们在那个appd里面配置了一个开102221000对吧?啊这个地址啊,大概两分钟啊,有的电脑两分钟不行啊,看你们这个电脑的实力了,个别电脑的两分钟确实不行。
24:21
还在写。哎呀,今天没给力啊,一行没一行没搞定。再坚持一下。看来得一行半。今天整体电脑都不太给力啊。主要是周末我也没干啥事啊,怎么就。不行了呢,昨天晚上还好好的呢,昨天晚上我还跑了一遍都没有问题啊,今天早上一开机。就不行,一开机不行,我重启了两次电脑啊,没行,我要又重启路由,路由重启了两三次也没行啊,都没行。所实在没办法来来单位,来单位呢产生网线也没行行,现在呢就已经看到看到这句话说这个server started那就OK了哈。
我来说两句