温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
接下来我们介绍一下Spark的核心模块,嗯,在下面的图形当中,大家可以看到基于最底层的是Spark,它是整个Spark框架的核心,其他的那些功能模块都是基于扣来实现和完善的。那么比方说我们的左上角有一个叫18CIRCLE这个功能模块呢,它是我们Spark操作结构化数据的一个功能模块,那么我们的右边Spark streaming,它是Spark对流式数据进行处理的一个功能模块,还有我们对机器学习相关的库做操作的ML Spark啊,就是这样的一个模块,以及对图形挖掘计算所做的一个graph X,那么这些功能模块他们都是基于Spark呢,但是他们的这个学习的难度是不一样的,像我们的Spark ML lib,机器学习和图形计算,它的学习的难度比较高,它的门槛比较高。而。
01:00
而且它需要我们一定的数学基础,所以在我们当前的课程当中是不做涉及的,在后续的课程当中会有所涉猎。我们现在先不讲,咱们现在主要讲的是什么,Spark circle Spark streaming,还有Spark call啊,所以咱们先讲核心,再讲结构化数据操作以及流式数据操作,这是我们接下来要讲的一个顺序啊。那么下面呢,对不同的模块呢做了一个解释,首先第一个叫Spark,它提供了10SPARK最基础以及最核心的功能,那么像其他的那些功能都是在Spark号的基础之上进行扩展的,而那个Spark circle就是用来操作结构化数据的组件,它里面包含了跟circle相关的一些内容,以及跟咱们之前所学的have框架相联系的一种方式啊,都是可以的啊。然后下面呢,是我们的sparks streaming,这个就是把流式数据处理的一些功能模块呢,跟Spark相结合,提供了更加丰富的。
02:00
API啊,是这样的,然后下面呢,就是我们的ML机器学习,它里面提供了机器学习的算法库,我们可以用最基本的一些算法来实现一些操作,比方说一些之类的是吧,然后这边还有我们的graph X啊,那么graph X呢,就是一种图形挖掘计算的一些框架和它的一些库了,啊,这是我们大概的一个解释。
我来说两句