00:00
哈喽,各位小伙伴们,今天呢,给大家带来的是上硅谷新鲜出炉的Spark实施项目,相信通过本课程的学习,大家一定会对实时计算有更加深刻的领悟,能够在未来的实时计算中诶助你一臂之力。那么说到实时计算,Spark streaming呢?作为大数据实时计算领域的重要一份子,必定有它的一席之地。咱们的课程呢,就是基于Spark streaming,围绕着什么是实时计算,如何进行实时计算以及怎么来保证实时等一系列热点话题展开。会以企业实际的生产环境为背景,企业的实际需求为例,详细的讲解实时计算中的各个环节,从不同的角度给出多种解决方案,并最终呢确定最优的方案。手把手的搭建一套完整可用的实时计算项目,教会大家如何来玩转实时计算。好,接下来我们一起来看一下课程的内容介绍,好,我们来通过一个脑图给大家做一个呈现。
01:10
咱们的项目呢,是以Spark stream为主。再加上实时计算中不可或缺的其他的一些组件,诶,有这么多。好,共同呢,组建起来一套完整可用的实时计算项目。那么这个时候各位看官可能想问了,这些技术在项目中都负责什么工作呢?啊,我们来做一个简短的介绍。首先是咱们项目的主线,Staring主要用来负责整个项目的核心处理流程。那么我们要计算的数据是怎么来的呢?A,我们可以通过Maxwell进行数据的实时采集和全量同步。那么接下来你采集的数据你要存到什么地方,你数据的一个中间处理状态,你怎么进行存储,数据怎么进行传输,哎,这些问题呢,我们可以通过卡夫卡来进行处理。
02:07
还有就是实时计算中我们必定少不了的缓存的一个应用,你比如说怎么来加快数据的查询响应,诶这些东西我们都可以通过red来进行实现,当然呢,Red在咱们的整个项目中呢,还会有更多的一些玩法啊,大家呢可以一起来期待一下。最终呢,我们会把处理好的数据通过ES来进行存储和分析计算。当然呢,也会通过他的一个好兄弟,哎,叫K班的。好进行什么呢?最后我们数据的一个可视化的一个展示。好,另外如果说咱们还有定制化可视化系统,或者说发布数据接口的需求,怎么办呢?诶这一块内容我们就可以通过奔步来进行实现。好,那么这些的话呢,我们会涵盖一些呃,Java的开发,那我们会在项目中啊给大家进行讲解。
03:04
好,再然后是gate,咱们整个项目的开发全盘是基于GI来进行托管的,那么与企业的实际开发场景是保持一致的。好,最后呢,是大家比较关心的环节,就是咱们的项目内容好。咱们的项目内容呢,大致可以分为这么几个模块,包含咱们的数据的采集、分流,分层的处理。BI的可视化以及数据接口的开发。当然我们在开发项目的过程中,肯定会遇到各种各样的问题啊,比如说你的精确一次消费问题啊,你的卡不卡的偏移量管理问题,你red的缓存问题,你的状态管理问题,你数据处理顺序性的问题啊,比如说数据的去除问题,数据关联问题,数据的延迟问题,诶双流join引的问题等等等等一系列的问题,那我们在项目中会围绕着每一个问题呢,给出。
04:03
多种方案,并最终呢去进行对比,确定一套最优的方案来进行实现。好,那咱们的整个项目内容呢,还是非常非常饱满的,好,大家可以简单的来看一下。好,那么具体的内容呢,我们就留到项目中来,给大家进行具体的讲解。好,接下来是咱们的课程特点。咱们的课程特点,第一个基础广,那么在刚才的介绍呢,大家也看到了。我们整个项目呢,涵盖了非常非常多的技术啊,那我们就不在此处呢,再进行一一的赘述啊,第二个是方案多,我们会针对项目中的不同的问题,从不同的角度会给出多种方案。并最终呢,诶,确定一套最优的方案来进行实现啊,第三个是需求帧,整个项目呢,我们会围绕着企业的热点需求来展开,带着大家呢去剖析一下破解需求的正确知识。
05:08
争取呢,能够做到举一反三。好,第四个是代码锡。那么这个呢,也是咱们上硅谷的一贯作风。我们会从零到一,手把手带着大家呢搭建实时计算项目,拒绝C位大法。逐行代码,逐行注释代码,一路到底,绝对能够提升你的代码功底好。最后是资料权,那么我们整个教程所有包含的教学资料,比如说教学的笔记。安装包课堂的水笔,源代码,视频等等一些,我们会全部毫无保留的打包开源给大家,绝对给各位看官安排的明明白白。好,那么这么好的课程资料怎么入手呢?诶,对于上微谷的铁粉来讲,必定是轻车熟路。
06:01
好,大家可以通过上硅谷B站官方账号直接免费观看,当然也可以关注上硅谷的教育公众号,回复大数据进行资料的下载。好,接下来我们来简短的说一下学习本门课程的基础要求。础好,我们需要熟悉SKY基础、Spark的基础,熟悉卡不卡的基础,熟悉基础以及熟悉ideal get ma等的一些基本操作。好,那么具体的使用我们会在项目中会有详细的一个讲解,好,那么经过简短的介绍,相信大家已经对本项目有了基本的了解,好,最后话不多说,整起来吧。
我来说两句