00:00
大家好,今天给大家带来数据同步工具data塔差的课程,那在我们实际的企业里面呢,它的数据来源是非常多的,甚至他使用到的数据库会有特别多,像比如my circle Oracle circle server DB two mango DB等等等等。那如果你正在为。企业里边数据源太多,正在考虑怎么来进行高效稳定的采集,一个烦恼,甚至呢,为此筹又筹掉了几根头发啊,那么可以来考虑学习一下贝塔叉啊,非常适合做这种工作。那么贝塔叉呢,是阿里巴巴开源的,它是支持一个异构数据源,离线数据同步,并且呢,它是很高效稳定。那简单来讲呢,所谓的异构数据源呢,就是各种各样的数据库存储,像比如说关系型数据库,刚才提到的my circle Oracle呃,DB two等等等等,还有咱们的no circle存储,像mango DB h base啊这些也支持,甚至呢,咱们大数据领域经常用的啊,HDFS啊,分布式存储它也是支持的,那么data塔叉呢,它可以支持两两之间的导入导出,基本上都支持啊,一套搞定啊,全家桶。
01:21
那么本次课我们介绍一下本次课程的一个内容,那我们会介绍一下贝塔差的一个基本的概念,也就是说还甚至有它的运行原理,还有它的基本架构,让大家对它有一个更加直观的一个认识。另外呢,咱们也会与其他常用的数据采集框架做一个对比,特别是SCO。从框架选型的角度给大家啊做一个介绍跟建议。来与SCO的对比。那么在这里呢,咱们涉及到很多的数据来源,那这边呢,我们会有丰富的案例,特别是呢,我们会介绍下a circle Oracle circle server mango DB,还有DB two等等与HDFS之间的一个导入导出,那呃,为了方便大家学习呢。
02:24
但是有的同学可能是对某一些数据库只知其名,不知道他是干啥的,怎么用啊,咱们也会做一个介绍,大家可以看到。向代理都有。除了简单介绍之外啊,某一些数据库的安装是极其繁琐,而且它的是比较多的,那这里呢,咱们通通是有非常详细的步骤。一步一步的带领大家把它安装上去,那而且呢也会呃,需要截图的地方都给大家提示好了,那基本上你就复制粘贴,照着咱们的流程一步步做就能把它安装上啊,所以安装的时候坑还是比较多。
03:08
包括它的一些简单的概念和使用,咱们也会做一个初步的认识。那我们这中间呢,也会给出一些案例,他们之间怎么来进行一个导入导出,甚至呢,大家可以看一看,比如说这里。是一个对差支持的一个数据源。那比如说这里没有列出来的DB two这种关系型数据库啊,那我们又该怎么来实现呢?咱们也是做了一个介绍,怎么来扩展。那本次课程呢,还有一个更深入的整体执行流程的源码分析,包括像它的一个整框架的整体流程,大概要经历哪几个步骤,那么核心的一些方法又是怎么样一个过程?
04:04
那我们会重点介绍跟咱们使用上息息相关的一些源码,会重点做一个介绍。那最后呢,他们会结合前面的源码介绍跟分析,我们会给出一定的优化手段和措施。这都是息息相关啊,那希望呢,就大家通过这样的学习呢,能够更加深入的理解和使用,更方便的来使用这个数据同步框架。那么本次课程的适用人群呢?主要是这么几个,第一个呢,你是从事数据采集工作。第二一个呢,就是你的数仓可能是刚好是在一个从零到一的建设阶段,那这个时候你肯定要预先考虑好我的采集工具使用什么呢。
05:03
要进行一个架构选型啊。那学习本课程呢,需要一定的。人字基础主要有什么呢?比如说看源码需要一定的。Java语言基础当然不需要太深入,大概呢,呃,能理解它的一个常用用法就可以了啊。那还需要大家了解一定的简单的Linux的命令使用。因为咱们要去做一个安装一些环境的部署。那么其他的就是对一些数据库的了解,你不了解至少要对my circle有一定的了解,还有对HDFS,也就是咱们哈杜相关的啊。那这个呢,就是本次课程的一些内容。
我来说两句