00:00
好,下面呢,我们来看一下这个架构原理啊,打个PPT。提前打一下,要不然我这个会卡啊,不知道大家这个word怎么样,我这个WORD1打有的时候就卡。行,我们来看一下啊,来看一下,呃,这个呢,这张图呢,是从爱特LA官网上直接截下来的这张图,那乍一看这张图啊,密密麻麻的这个一大堆主件啊,不知道从何下手是吧?啊从下手,其实分析一个东西啊,啊,越是复杂的东西,你要抓住怎么几个关键的数据哪来的,比如说输入端在哪。然后最终去了哪输出的,中间做了什么业务逻辑,那就OK了,那好吧,那你想想我们这个Atlas既然是管理原数据的,那我们必须得能把原数据读过来。是这样吗?哎,读过来,那首先看。这块。这个呢,是Atlas,它所支持的所有的框架的元数据管理,那它支持哪些呢?有have的元数据,School的元数据,Fcon storm。
01:09
那这么多元数据,其实目前市面上用的最多的就是have,我根本就没有听说过有人用这个at做什么S元数据管理啊,Con storm h base元素管理啊,没有人用哈,没人用,因为像什么storm这种都已经被淘汰。啊,都已经被淘汰了啊,很少有人去用啊,然后其他的这些呢,也不需要什么原数据,主要是这个have,好,那知道啊,原数据管理我们主要管理的是have,那原数据管理既然数据往这一放,那怎么往这个atla里面导呢?用到了一个中间件叫卡夫卡。大家并不陌生对吧?啊,这个卡夫卡一说卡法20件事,哎,想起一下啊,行,那卡夫卡呢,去读这个原数据还有。读完原数据,往哪里走呢?走到了Atlas的核心。
02:01
靠核心,那这个靠核心里面就有对应的组成模块,比如说一个负责输入的,一个是负责输出的。输入输出的一个接收模块,跟他进行一个外界的一个交流,好进到这之后,那在右侧呢,这块有一个叫ta system。叫类型啊,类型系统它是负责干什么的呢?你想想你把这个数据,原数据接收进来之后,你以什么形式存在呀,什么叫什么形式呢?比如什么类型,你是以int类型还是string类型,还是double类型,哎,那在原数据管理里面呢,它用的是temp c层。是属于这种类型哈,是它的一个特殊类型,往后看在这儿。特殊类型系统,那再来那右边这块呢,还有一个什么graph engine,相当于是一个引擎图形引擎。那刚才刚才大家也看到了,说最终它是需要把这个血缘依赖关系进行一个可视化展示。
03:02
那展示的话,谁来负责把这个转换成图片呢?啊,把它的这个是啊图形就是用这么一个图形引擎来进行转换。好,那这几个模块介绍完之后,那再往下,再往下这块呢,是它最终会把原数据存在哪里。它会把原数据存储在h base里面。哎,存在这里面以type system的形式类型存储在h base里面啊,非常奇怪啊,然后呢,再来呢,就是这边有一个,呃。Sa呢,大家可能比较陌生,它是一个倒排索引啊,检索引擎,类似于你们日后学的ESES你可能不太懂,那你们学MR的时候,有一个叫倒排索引。其中有一个案例叫倒排水。对吧,哎,找出一个文档当中艾特硅谷的个数啊,那这个呢,就是用这个R,它可以快速的去辅助你去查询h base里面对应的原数据。
04:02
他是做索引的。好,那这么几个模块介绍完之后,那这里面又给大家提供了一个API操作。API操作是辅助你可以进行二次开发,也就说如果你爱里面这些功能你还不满意的话,它会为你对外暴露很多接口,方便你去读atla里面内部的数据,同时对他进一步的一个二次开发。你像咱们我接触到好多老学员啊,他们用到的都是这个API。你说把这个图形页面啊。得到的数据直接得出,就是给读出去之后,按照自己的要求把它展示出来。啊,这有的哈,这有的呃,实现起来也不难,就是你访问这个呃,API这个网网络请求直接就能拿到,获取到对应的数据,然后你对这个数据进行展示不就完了吗?再往后呢,是这个application属于数据的一个应用,应用呢这里面呢,这块呢是权限管理。
05:01
对应的权限管理,那还有一块呢,是admin UI,就是我们看到的那个图形化页面,那还有一块呢,什么business啊这块商业智能这块,我们暂时不用啊,暂时不用,那整个这里面就是嗯,Atlas涉及到的一些组件,那你需要怎么记呢?这么多组件一看。好难呐,记不住啊,哎,如果人家问到了你艾特底层架构大概是什么样的,你只需要记住这样。首先第一件事,数据在哪?在have的原数据里面,你只需要记住have的原数据管理就行了,其他这些没必要记,你日后也不会用到。那再往下用,谁来读这个have里的元数据呢?卡夫卡。好,读完之后进入到Atlas内部,这些块你不用管,进入到Atlas内部之后,最终会存到哪里,存在h base里面。比如说原数据会存在HP好,那对HP进行快速的查询用谁呢,So?好用sor,然后爱LA支持二次开发,你可以调用它的API之后图形化展示没了。比如说你只需要记住这么六块原数据,在have里面,用卡普卡去读,读完之后直接进入到内核,存储到HP里面,然后用sor去查询对应的原数据。
06:20
然后它有支持二次开发的功能。图形化展示。啊,你说你要把一个复杂的问题啊,转换成你要的这种语言啊,普通的语言把它翻译出来,那这样的话,你才才能记这个记得住哈,行,那这些组件之后我们就结束了啊这个原理。
我来说两句