温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
哈喽,各位同学,上硅谷的粉丝朋友们,我是上硅谷的达叔,今天呢给大家带来的是由上硅谷研究院精心研发的弗林实时数仓3.0版本,接下来我们先一起看一下本次课程的内容,那说到实时数仓,我们都知道它是用来存储和计算数据的,那既然要存储和计算数据,首先我们就要把数据采集到实时数仓,在第一篇当中呢,我们介绍了数仓的整体架构,以及我们的数据应该如何采集到实时数仓当中,接下来呢,我们就进入到了数仓的入门,那在这一篇啊,我们介绍了数仓的一个整体概述,入门之后呢,我们开始讲解实时数仓的建模,建完模我们开始对实数仓进行分层的设计,最终对数据进行计算和分析,然后我们把分析之后的结果呀,通过实时数仓的可视化进行一个大屏的展示,这。
01:00
这些就是我们本次课程的内容了,接下来我们看一看本次课程的特色都有哪些。本次视频呢,我们也是调研了字节,还有拼多多等大厂重做了数仓建模理论,还有指标体系的拆分,使我们的数仓在建模上更加的合理。在技术上呢,我们也是使用了当下最火热的实时计算引擎浮令,结合了reddi clickli house等主流的实时数仓构建框架。在使用flink处理数据过程当中呢,我们也加入了flink CDC读取配置信息,达到动态修改代码的逻辑,并且采用旁路缓存加异步IO的方式对关联维表操作进行了深度的优化,在提高处理效率的同时也防止了反压的产生。我们还同时采用了flink data stream API和fnk circle双线处理的逻辑,让同学们在工作当中可以应对不同的开发要求。用这些技术呢,我们最终实现了50多个指标,50多小时的视频,还有几百张表,以及一万多行的代码。在项目最后我们也是用全云。
02:09
服务实现了真正的生产环境,并且模拟了各种企业开发当中可能出现的bug,手把手的带着大家解决各种各样的问题,以及生产环境当中的调优,帮助同学们快速理解和掌握企业的优化阀门。那有同学可能就要问了,这么好的视频我们上哪获取呢?不要998,不要888,关注上硅谷教育公众号,回复大数据免费带回家,还有我们的尚硅谷老学员可以登录鼓励学院进行免费观看,依然可以下载全套的免费资料,同时在B站上我们也会同步上传所有的视频教程,在评论区当中你依然可以获取到全套的免费资料。有同学可能要问了,资料呢,我现在已经获取到了,但是我能不能学得懂呢?首先我们要先有一些javac的基础,能看懂我们文档当中的代码,其次我们的项目是完全基于Linux来部署的,那么我们就要对Linux的命令有一定的了解,再有我们还要熟悉idea开发工具,我们要用idea开发工具呢来开发我们的项目,最后我们还要对flink生态有一定的了解,毕竟我们的实时出仓呢是基于flink生态体系来进行搭建的。本套视频教程呢是由我达叔本人和汪公子共同打造的,依然延续了往期视频的特点,讲解的也是非常的细致,每一行代码,每一个配置都会给大家讲解的明明白白,各位有德T,接下来就跟着我和汪公子一起来学习我们的实时数仓3.0吧。
我来说两句