首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

数据治理:白话打通对Atlas的理解

问题导读 1.Atlas是什么? 2.Atlas能干什么? 3.Atlas血统关系是什么? Atlas现在被企业使用的越来越多,我们可能听说过,但是具体它是什么,能干什么的,我们可能不清楚。 因此我们要解决第一个问题,Atlas是什么? Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop生态系统集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。 上面我们或许听着比较懵圈,都是啥,元数据治理是啥?为啥要元数据治理?元数据不就是用来描述数据的数据,我们这么理解没有错的,不过这个是其中重要的一项。比如Hive的元数据,那是需要第三方数据库的,大多存储到mysql中。为啥又出来一个Atlas,它能管理Hive的元数据吗?别说,还真可以的。那为啥要用Atlas来管理。这就涉及到我们的第二个问题,Atlas能干什么?。 Atlas能干什么? 其实很多大数据组件都有元数据管理,比如: Hive保存在外部数据库中,比如Mysql Hadoop元数据保存在Namenode,元数据的存储格式:data/hadoopdata/目录下 name:元数据存储目录 namenode存储元数据的存储目录 Kakfa元数据一般保存在zookeeper中 等等以上,我们的元数据每个大数据组件都有保存的地方,为啥还需要Atlas。 上面元数据是为了功能而生,都是单独的系统,散落在各个组件中,而我们能不能把这些元数据统一管理,而且数据的变化我们也能看到那就更好了。而且如果能把我们整个集群的大数据组件的元数据我们都能看到,那就更好了。看到这些有什么好处?比如我们想找到Hive有哪些表,想查看我们数据是怎么来的。这时候数据管理工具就产生了--Atlas,用来管理元数据的平台。 我们知道了Atlas是什么,能干什么,可能是比较通透了。可是还不够详细,那么接下来我们看看Atlas有哪些功能,有什么特点。这里直接借用《大数据治理与安全从理论到开源实践》书中内容。

01

【程序源代码】SSH-空项目框架原型V2

Java EE(J2EE)开发框架,集结最新主流时尚开源技术:Spring、Spring MVC/struts/hibernate。 JAVA三大框架用来做WEB应用。struts主要负责表示层的显示 spring利用它的IOC和AOP来处理控制业务(负责对数据库的操作) hibernate主要是数据的持久化到数据库。在用jsp的servlet做网页开发的时候有个web.xml的映射文件,里面有个mapping的标签就是用来做文件映射的。当你在浏览器上输入URL地址的时候,文件就会根据你写的名称对应到一个java文件,根据java文件里编写的内容显示在浏览器上,就是一个网页,所以网页名字是随便写的,随便起的名字,不管你起的是.php .jsp .do还是其他的什么都对应这个java文件,这个java文件里的代码进行什么操作就干什么,显示一句话还是连接数据库还是跳转到其他页面等等,这个java文件把数据进行封装起到安全和便于管理的作用。其实这个java文件编译过来是.class的一个字节码文件,没有那么一个类似html嵌入标签和代码的网页文件。他与jsp文件区别就是jsp把代码嵌入到html标签中。还有servlet或者struts中html表单的action中的提交名称对应一个java文件,struts一般是.do的,都和上面一样是映射。

02

MySQL数据库:第五章:常见函数

函数:类似于java中的”方法“,将完成某个功能的一系列步骤封装起来,对外暴露一个名字,供外界调用 当我们学习别人定义好的方法(函数),只需要关心两件事: ①叫什么(函数名) ②干什么(函数功能) sql中的函数:肯定有,并且仅有一个返回值 调用语法: select 函数名(实参列表); 一、数学函数: abs绝对值 mod取余 floor向下取整 truncate 截断 ceil向上取整 round四舍五入 注意: sql中的round支持两个重载,规则:先按绝对值四舍五入,然后再添加正负 round(x):只保留整数部位 round(x,d):保留小数点后一位 java中Math.round只支持一个参数,规则:Math.round(x)等价于Math.floor(x+0.5) Math.round(x) rand随机数 二、字符函数 upper转换成大写 lower转换成小写 length获取字节长度 char_length获取字符长度 substr截取子串 trim去掉前后空格或字符 concat拼接 strcmp比较两个字符串 instr获取子串第一次出现的索引,如果找不到,返回0 注意:sql中起始索引,一般从1开始! 三、日期函数 now当前日期+时间 curdate当前日期 curtime当前时间 datediff两个日期天数差 date_format日期——>字符 str_to_date字符——>日期 四、流程控制函数 1、if函数 2、case结构 形式1:类似于switch 形式2:类似于多重if

02

PHP消息队列实现及应用【学习与归纳】

目前对消息队列并不了解其原理,本篇文章主要是通过慕课网学习归纳的一些笔记,为后续学习打下基础。 众所周知在对网站设计的时候,会遇到给用户“群发短信”,“订单系统有大量的日志”,“秒杀设计”等,服务器没法处理这种瞬间迸发的压力,这种情况要保证系统正常有效的使用,就需要“消息队列”的帮助。本篇主要通过消息队列的思路进行学习。 主要了解如下知识: 1、队列是个什么东西,他能干什么? 2、对列的应用场景有哪些? 3、如何使用队列对业务进行解偶? 4、如何使用Redis队列来消除高压力? 5、专业的对列系统RabbitMQ如何使用? 归纳如下主要内容 @消息队列的概念,原理和场景 @解耦案例:队列处理订单系统和配送系统 @流量削峰案例:Redis的List类型实现秒杀 @RabbitMQ:更专业的消息系统实现方案

01
领券