温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
上硅谷的朋友们大家好,今天呢由猛哥来给大家带来一款调度器的框架air flow,那江湖上呢,流传有这么一句话啊,叫调度用的好,下班下的早啊,调度用不好,凌晨三点跑不了啊可见呢,这个调度器会直接影响到大家以后的这个工作的一个感受啊那在市场上呢,有各种各样琳琅满目的调度器,为什么我们要选择air flow诶这一款呢?啊等大家呢,学完这款框架你就知道了啊,它是一个真正懂你了解你的框架啊,页面也好,效果也好,都非常的简洁高效啊好,我们的课程呢,分为以下几个部分组成啊,首先呢,会给大家介绍air flow的特点啊,它有一个最大的特点啊,就说airflow它是由Python语言编写的啊,所以呢,它已经继承了Python语言的最核心的特点啊,一个呢是使用。
01:00
起来比较简单,直接写Python脚本就可以去调度了,另一个呢,是能够使用的类库啊,非常的丰富多彩啊,可以满足你的各种需求啊,活比较多啊好,第二部分内容呢,我们会讲环境部署和安装,那因为呢,Air flow是Python语言写的,跟大家呢之前所使用的Java语言框架呢,由本质上的区别啊,我们这里呢,需要使用midconda啊,来去给它安装部署一个Python的环境啊。第三部分叫使用优化啊,这个air flow呢,它直接使用起来啊。使用它默认的一些配置会有一些不太好的地方,我们需要按照官方的推荐来对它呢进行一些优化改造,那比方说呢,它默认是将原数据存储在本地磁盘里面,我们呢需要把它更改到MYSQL当中,那最后一部分呢,会给大家演示一个测试案例啊,这个测试案例呢,我们尽量选择一个分布式的依赖于雅恩的任务啊,跟我们离线数仓里面调度的任务呢尽量的贴近。
02:11
好,我们一共讲述以下四部分内容,那那接下来呢,还要给大家介绍一下我们本次课程前置要求大家掌握的一些基础,那首先呢,大家要会基础的Linux使用啊,其次呢,大家要会一些基础的Python脚本的编写啊,注意这里呢,Python脚本的编写并没有很高的一个要求,即使你不会Python语言也没有关系啊,我们这里呢,都是模板化的Python脚本,你到时候只需要根据你的需求去对应的修改对应的位置就可以了啊,相当于呢是一个非常方便的一个模板啊,对应的可插拔填写一些组件就可以了。最后一部分呢,你要能够了解离线输仓调度任务的依赖啊,我们这里呢会展示在任务调度的时候啊,它会有彼此之间的一个依赖关系啊,当然有的同学呢,可能并没有学过我们上硅谷的离线输仓项目啊,这个也没有关系,你可以先来掌握air flow这款调度器等。后续呢,根据你。
03:11
自己工作当中需要用到的调度依赖,再自己去哎对应的去排序就可以了,好,这是我们课程里面所有的一个内容啊,同时呢,给大家展示一下我们课程所使用到的资料,首先呢是我们air flow的文档啊,这个框架呢,相对比较简单,只有当前这一个文档,一共是三章的内容啊,包含有基本概念啊,安装部署以及修改第三部分部署使用,那同时呢,还需要用到它的一些安装的资料包啊,我们来看一下。对应找到它的位置啊,Air floor啊叫资料,这里使用的资料包呢,并不像我们的加框架啊,给你一个air floor的安装包,这里呢,我们是给了一个miniconda的一个安装包,这个mini呢是一个啊Python的环境管理器,在这里面可以创建各种各样的虚拟环境啊,不同版本的Python在同一个linu安装,推荐使用这种呃虚拟环境啊好,这就是我们整个课程的一个介绍。
我来说两句