00:01
好,来吧,下面我就看一下这个ES的一个使用场景了啊。呃,我们大体来规划的话,有这个三种场景,那么首先第一种场景,那一定是他最擅长的事儿,就是这个全文搜索功能。对吧?啊,全文搜索功能,就是比如说我们现在啊,我们要去做一个项目,这个项目中的话,我们会涉及到这个全文搜索的这个功能,好,那么我们就可考虑使用这个ES来去做。对吧,就是为用户呢,提供按照什么呀,关键字,诶查询的这个全文搜索功能。啊,百度京东啊,还有很多啊,都是拿这个ES去做的啊,底层都是这个ES好吧,这是他什么最擅长的啊呃,但其实这个事的话呢,对于我们这个大数据来讲,可能涉及的会比较少一点啊,这个Java e他们会涉及的会多一点。能明白吧,因为我们大数据的话,重点还是分析数据的。是吧,啊,重点还是分析数据的啊,所以这方面的话呢,对于我们来讲,呃,涉猎的会少一点啊,像下面这两个场景,跟我们大数据呢,就有点关系。
01:01
其实ES啊。它也能作为大数据的一份子啊,而且是比较重要的一份子。然后呢,去做什么,去做这个数据的处理和分析。明白吧,来给大家去说一下啊呃,就现在的话呢,我们基本上这个,如果你要去搭建这个大数据的这个框架啊,一般我们都会直接使用这个阿巴奇的这一套啊,对吧,就是使用这个阿巴奇生态的。啊,这个技术站,比如说我们的什么哈多。对吧。你们学的任何东西啊哈,Op什么主什么have。什么嘛,对吧,什么卡不卡啊,就这一套东西。对吧,等等等等啊,还有别的啊,我们基本上都会选择这一套东西,但其实啊,大家注意在这个,呃,早些年啊,早些年就是整个这个阿凡提这一套东西还不是特别成熟的时候,其实是有一个技术是能够什么跟他去做抗衡的,谁呢?就是著名的这个elk。啊,这个技术站。
02:00
这个elk这个技术站表示什么呢?啊,它表示的是三个框架啊,分别就是elastic search,再一个是这个lote,再一个是这个K班的。啊,这是三兄弟啊,三兄弟这都是一家出的。啊,无缝兼容能听懂吧,直接拿过来就能够用啊无缝兼容的啊三兄弟,这三兄弟呢,他其实也实现了企业里面海量数据的处理分析的一个什么解决方案,就是它能够帮助你去做这个企业级的海量数据的一个什么处理和分析。啊,就是他可以什么去避免我们的这个现在这个阿帕奇这一套,就大家现在所使用的这一套技术啊,它是可以什么帮你去解决的,而且人家是用的什么东西都特别少,就三个就OK了。对吧,那我们来举举个例子,那比如说就拿我们这个现在常规的这个数据处理来讲,那你有数据以后。那我首先要考虑就是我要把数据呢,采集到我的这个平台中。是不是这是我的数据处理平台啊,那你首先你的数据你得能够进入到我的平台中,进到平台中以后呢,我要给你存储下来,存储下来以后呢,我要去做这个分析统计。
03:02
对吧,最后我这个分析统计完成以后呢,我还得什么,借助于一些什么BI工具,是不是,然后呢,去出一些什么,出一些图表。对吧。这是我们正常的一个什么分析流程,OK,那那我给大家去说一下,如果你用的是阿帕奇的这一套,那我们这个采集的话,我们基本上都是加卡不卡。对吧,然后呢,这个存储的话呢,一般都是你的HDFS,分析的话呢,一般都是这个have啊,或者是这个Spark或者什么这个link啊,看你做离线还是做实时。对吧,然后你这个分析完成以后呢,呃,我们想出结果,出结果的话你要用BI,那么这个BI的话,你可以自己去挑啊,比如说你用的什么对吧,什么quick BI,什么smart BI啊等等等等一些有很多。啊,你可以自己去选,那么大家想想啊,你这些个框架,如果你这个放到一起来用的话,虽然说大家这个在学习的时候啊,感觉说诶也挺好用是吧,也是能够什么无缝对接的,我这个安装完成以后,一配他们就能够正常工作了,但其实我告诉你哈,他们之间其实存在很多这个兼容性问题的。
04:02
大家没有遇到这个问题。那是因为。大家这个学习的时候给大家发下去的那个炸包啊,就那个安装包的那个版本什么的,都是我们测试过的啊,它这个兼容器是没问题的,然后呢,我们才敢用,如果说你贸然上来以后,你就随便去找两个框架,比如找一个找一个卡不卡,你就敢保证他们两个一定能够对接成功吗?对吧,你得看版本能听懂吧,啊,你得看版本啊,因为他们都是,虽然说都是属于阿帕奇的,对吧,但是呢,毕竟都是什么各自什么分开去开发的。明白我的意思吧,而且将来你这个做这个可视化的时候呢,你要怎么再去选选别的组件。是不是,但如果说你放到这个elk这个技术站里面啊,我跟你讲。谁帮我去采集数据呢?Lovete啊,这哥们你可以理解为跟很像啊,就你能做的事,他基本上也能做。哦,它可以实现这个数据的一个采集啊,那你数据采集来以后,谁帮我去存呢?ES帮你去存。
05:02
就说白了啊,你通过这个通过logtesh,然后把数据踩进来,踩到什么,踩到这个ES中啊,这个ES它不仅能够帮你去存,而且它还能够帮你去算。就比如说我要去做这个数据的分析了,那我不得去算吗。对吧,我们大数据不就这么几件事情吗?数据的才数据的存数据的算对吧,不就是不就这三件事吗?那你看一下啊,他帮你把数据采过来,然后呢,你的ES呢,负责存下来,负责算出来,好,那最后呢,我想去呈现效果了,谁呢可以办的。这个门。对吧,他帮你去做这个可视化。那你看一下这一套,他自己就把你搞定。而且的话呢,你要用它的话呢,基本上也不用考虑兼容性的问题,因为这就是一家的产品三兄弟。那兄弟之间肯定是可以正常兼容的。对吧,所以说呢,其实这个elk啊,这个技术站也可以作为这个大数据领域的一一份子啊,然后呢,去做这个数据的处理分析。
06:03
啊,不过这个呃,最近几年来看的话呢,其实这个对于大数据的这个处理来讲的话呢,还是就是阿巴奇这一套东西啊,用的还是比较多的,它的这个占有率还是比较高的啊那这个EK有没有要用的呢?也有用的,肯定有用的啊,同学们肯定有用的。好吧,首这个你要知道一下啊。像呃,然后再一个层面的话呢,呃,就是我们现在我们要涉及到的啊,就是作为这个o lap数据库,然后呢,对数据呢,进行这个统计分析,那这个其实重点就是用这个ES加K的。啊,重点是ES加K完的,因为这个locktech我们现在是用不着的啊,因为我们的采还是什么通过这个采的,只不过最后呢,我们想把这个你处理好的数据呢,给它放到这个ES中。对吧,放到ES中以后呢,我就可以什么基于我的ES,然后呢,去对这个数据呢做统计分析。啊,然后统计分析完成以后呢,我们再把这个数据呢,通过这个key呢,去做一个可视化。
07:01
能明白我的意思了吧,啊,当然你要不要用K班的机也可以自己去选哈,因为它分析统计,它可以把分析出来的结果,我们可以什么呀。这个通过这个什么接口给他什么发布出来,那发布出来以后呢,我可以什么去对接各种平台的啊,比如说你自己写了一套平台,或者什么对接什么第三方的平台,这都是可以的。啊,所以说我们重点要的功能其实还是ES本身啊,它提供的这个数据的存,数据的算这个功能。明白吧,所以说呢,我们是可以把这个ES呢定位成一个o lap数据库的,就是联机分析处理这种数据库。就专门去做什么分析的啊,他重点强调的是分析。明白了吧,啊,这就是我们这个ES的一个使用场景。好吧,现在我们看中的应该是第三点啊,应该第三点,因为第一点的话呢,呃,我们其实也会用哈,因为你讲ES嘛,你就不得不涉及到它的这个,呃,全文搜索。好吧,这个也会用啊,然后呢,这一点的话呢,我们就用的就涉及不到了啊,我们不会用lockstesh,明白了吧,然后呢,我们也不会把它呢,作为这个我们目前这个大数据的这个处理框架啊,我们只是把它做为一个oledp来去用一下,因为我们整个这个实施项目的规划,前面我们都是用这个阿帕奇那一套对数据做了处理,我们是把最终处理好的数据呢,要放到ES中,然后进一步的去做这个分析的。
08:21
理解吧,啊,这个对他的一个定位啊,以及我们对他的一个需求,你一定要先搞明白了。好吧,这是它的一个使用场景啊。行,就聊这么多啊。
我来说两句