00:01
Hello,上硅谷的小伙伴们大家好啊,我是小磊老师啊,今天又给大家见面了啊,今天给大家带来一个新的技术啊,就是上硅谷大数据技术killing。今天给大家讲一下这个K啊,其实king相信很多小伙伴应该也听过了啊,在这个15仓项目里边,往往我们会用这个king,用作咱们这个计习查询框架。那讲到这儿啊,要先给大家这个没有听过的小伙伴介绍一下什么叫计息查询,好吧,啊计息查询这四个字就很很好玩,好吧,那我们来给大家写一下啊记息查询,我们先来了解一下什么是记忆查询。记喜两个字就很形象,什么意思啊,就比如说啊,你在公司里边给人做这个疏造项目,那这个时候忽然老板有一天来到你的工位上啊,拍了拍你的肩膀,让你给他查,查询一个骚口,或者查询一个小的指标啊,那这种就成为即时查询,你想啊,这个老板或者项目经理在你的旁边等着,他就在你的工位上等着,如果说哎,你在have里边给他跑了个circle口,跑了半个小时。
01:06
那这个时候肯定很尴尬啊,啊,再说项目经理也不可能等你那么久,那因此大家应该听到这儿,应该应该能听明白了,那这个计息查询框架,他唯一的一个要求是什么呀?就是快啊,就是快。那我们在说到项目里边是如何保证咱们这个查询速度能够很快呢?大家可以思考一下,我们解决这个问题有两两个方向,哪两个方向啊,第一个方向。就是尽可能的让咱们那个circle的执行任务跑在内存里边,那这样一来,因为我这个是吧,在内存里边做计算,肯定能够保证我这个查询速度会很快,这是第一个方向。那像这种方向的,我们有哪些应用啊,比如说哎,大家都学过的这个P。Pre是一个标准的基于内存的一个计息查询框架,哎,它是一个基于内存做计算的分布式的S后引擎,因此啊,我们在公司里边就可以安装一下press来作为咱们这个计息程序的工具啊,大家要明白这个pro它就是基于内存的这么一个应用,那除此之外呢,我们还有一种什么思路啊,就是这个与与计算同学们。
02:18
大家想啊,你想在几秒钟之内算海量的数据?那如果说我的这个内存啊,包括这个硬件达不到,就我这个速度提不上来,那我怎么办啊,我只能提前计算啊。那因此啊,我们还有另外一个思路就是预计算,那咱们今天讲的这个KLY,它就是预计算的这么一个思路的一个应用实现,好吧,所以说啊,如果没有听过的小伙伴,他感觉这个预计算是相当高大上的一个东西,大家想啊,我们第我我们在头一天晚上就已经知道了,我第二天要算什么。这是这属于未卜先知啊,同学们,所以说啊,这个K还是功功从功能上来讲还是比较强大的,它从这个设计思路上来讲,也是比较先进的一个东西,哎,那我们接下来是吧,就给大家介绍一下咱们这个kitly,那我们来先看一下咱们这个文档,咱们这个文档是从六章来下手,给大家讲一下这个Kelly啊,第一章就是一个概述啊,给大家简单介绍一下什么是Kelly,好吧,啊,第二章就是带着大家一起,哎,安装一下K。
03:25
第三章啊,就是一个快速入门了,在这一章里边我会给大家讲讲如何使用kidding,因为我这个课程是单独的,是没有基于这个数仓项目的,所以说我得需要造两个表。我是以咱们这个员工表跟这个部门表为例,给大家简单举了一个小案例来使用一下K点啊。大家等等那个时候知道就好了啊,因为咱们这个课程是独立于书仓之外的,我单独给大家讲一下KLY,那因此我现在我得造一下我这个数据,好吧,啊,那我们接下来是吧,就是我就是给大家讲一讲如何使用这个K来做这个记忆查询,那我们在后边还会细讲啊,那我们第四章什么呀,第四章给家讲一下,咱们K里边有一个专业概,就有一个专业的名词叫cube,咱们这个cube是如何构建的,好吧,就是第四章第五章两章给大家讲一下这个构建的原理,以及咱们这个构建的优化啊,这两张属于一个。
04:24
提升的章节是讲原理的一个章节,好吧,啊,最后的第六章是给大家讲一下咱们这个BI工具的集成,因为咱们这个KLY它也类似于一个circle分析引擎,那既然是一个circlel分析引擎,哎,我们就可以用外部的一些连接协议来连来连接它,就比如说哎,我这个KLY支持标准的JDBC,我可以写这个加格代码来连系这个KLY,那如果我不想写代码,哎,咱们这个king的开发团队还给咱们贡献了一个插件叫做zeipin,那我在这里边也给大家讲了一下如何使用这个zeipin来访问咱们这个Kelly,哎,后边会给再详细讲解啊,那咱们这个课程了解之后呢,那我们接下来就来一起看一下咱们这个第一章啊,就是1.1章节,什么是K?
05:12
就是K的这么一个定义啊。从官方角角度来讲,咱们这个阿帕奇K,它是一个开源的分布式的计算分析引擎。它能够提供基于哈杜的,或者是基于Spark之上的一个circle查询接口啊,甚至还他还可以干嘛呀,他还可以做咱们这个o lap,也就是说多维分析的一个能力啊,并且我这个K里,它支持超大规模的数据集,最开始的时候是由这个EBA公司来开发的啊,EBA是一个外国的公司。但是咱们这个KLY是由这个EBA公司的上海团队开发的啊,就是国内团队来开发的,因此咱们这个KLY它是具有这个中文官网的啊,正是因为中国人开发的,那所以说啊,咱们才起了这么一个具有中国风的名字,麒麟的中文名字就是麒麟嘛,中国的那个享受叫做麒麟啊,因为什么呀,因为正是因为咱们这是中国人开发的,它是一个比较强大的框框架,所以说咱们给它起名为麒麟,麒麟OK,那这个A北,这个一北公司的中国团队把它开发了以后呢,贡献给了开元社区,就是个阿帕奇呗,啊就是人家官分说了。
06:29
咱们这个麒麟啊,能够在亚秒内查询咱们这个巨大的汉武表啊,介绍完麒麟之后,我们可以一起去看一下这个麒麟的官网,大家打开你们这个浏览器,你就搜这个K就可以啊。第一个就是咱们麒麟的一个中文官网,咱们这个麒麟啊,它是具备中文官网的,因为它是中国人开发的啊,那打开这个中国官网以后呢,你就可以看一下咱们这个麒麟的一个介绍了啊,咱们刚才已经看过了是吧?这一段就是咱们文档第一段就是就是麒麟的一个简单介绍。
07:06
然后再往下,人家告诉你了,你想使用这个麒麟,你只需要三步就可以实现在这个超大数据集上,它做一个亚秒级的查询,亚秒就是毫秒,就是不到一秒零点几秒,OK啊,首先你得定义一个什么星型或者雪花模型啊,第二个就是定义这个QB,就是就是构建这个cub,第三个诶,那我们这个cub构建好之后呢,那我就可以通过这个标准circle来这个进行查询了。啊,那这样一来呢,我这个K里,因为它是提前构建好的,所以说我就能够在一秒级内给你返回这个查询结果,好吧,那我们再往下翻一翻,它会告诉你有哪些公司都在使用K,这个公司很多啊,首先第一家公司就是这个EBA公司,因为K林就是人家开发的啊,再往下大家可以看一下什么雅虎啊,三星啊,百度啊,还有这个苹果啊,微软啊,啊,还有这个国美在线啊,亚马逊。
08:02
啊,包括大家都是一些大厂都在用这个K,所以说这个K它是相当强大的一个计息查询框架,好吧,那关于kding我们就暂时先介绍到这儿啊。
我来说两句