首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    数据治理:白话打通对Atlas的理解

    问题导读 1.Atlas是什么? 2.Atlas能干什么? 3.Atlas血统关系是什么? Atlas现在被企业使用的越来越多,我们可能听说过,但是具体它是什么,能干什么的,我们可能不清楚。 因此我们要解决第一个问题,Atlas是什么? Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop生态系统集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。 上面我们或许听着比较懵圈,都是啥,元数据治理是啥?为啥要元数据治理?元数据不就是用来描述数据的数据,我们这么理解没有错的,不过这个是其中重要的一项。比如Hive的元数据,那是需要第三方数据库的,大多存储到mysql中。为啥又出来一个Atlas,它能管理Hive的元数据吗?别说,还真可以的。那为啥要用Atlas来管理。这就涉及到我们的第二个问题,Atlas能干什么?。 Atlas能干什么? 其实很多大数据组件都有元数据管理,比如: Hive保存在外部数据库中,比如Mysql Hadoop元数据保存在Namenode,元数据的存储格式:data/hadoopdata/目录下 name:元数据存储目录 namenode存储元数据的存储目录 Kakfa元数据一般保存在zookeeper中 等等以上,我们的元数据每个大数据组件都有保存的地方,为啥还需要Atlas。 上面元数据是为了功能而生,都是单独的系统,散落在各个组件中,而我们能不能把这些元数据统一管理,而且数据的变化我们也能看到那就更好了。而且如果能把我们整个集群的大数据组件的元数据我们都能看到,那就更好了。看到这些有什么好处?比如我们想找到Hive有哪些表,想查看我们数据是怎么来的。这时候数据管理工具就产生了--Atlas,用来管理元数据的平台。 我们知道了Atlas是什么,能干什么,可能是比较通透了。可是还不够详细,那么接下来我们看看Atlas有哪些功能,有什么特点。这里直接借用《大数据治理与安全从理论到开源实践》书中内容。

    01

    星际争霸2-数据编辑器-菜鸟入门

    让大多数接触星际2编辑器的人歇菜的原因, 就是这个数据编辑器(Data Editor). 不管你是个新手, 还是使用魔兽3的编辑器做过一些东西, 当你怀着满腔的热情准备做一张星际2的地图时, 数据编辑器就像挡在前面的一座大山, 让人恨不得撞死算了. 这种情况同样发生在我身上. 我自信用魔兽3的对象编辑器用得炉火纯青了, 但是当我打开数据编辑器时, 连怎么做个Unit都不知道. 现在, 我总算能凑合着用数据编辑器了, 但也不是太好, 谁让爆血把这玩艺弄得这么高深来着. 这个教程里我只说一些基础, 不会做一些实际的东西. 想学那些的, 看后面的教程去. 入门 让我们以数据编辑器的截图开始:

    02

    河南这么的大省,所谓的准一线,为什么IT行业就是发展不起来呢?

    因为伟大的河南省遍地都是想考公务员的人才。真的,河南的大学生毕业,甭管学的什么专业,第一件事就是考公务员,一年不行两年,两年不行三年,实在考不上也得先找关系进政府部门当个临时工混资历,一边给领导开车一边考。每个人都觉得那是稳定的工作,他们甚至连自己喜欢干什么想干什么都不知道,为什么考公务员?家里让考的。自己想干什么吗?不知道。不管父母是干什么的,都觉得考公务员才是正途,能『当官』就有底气。不是有个段子:为什么南方人比我们富啊?就是因为南方人没事儿爱喝茶。南方人喝茶的时候都觉得自己穷,聊的是怎么做生意。北方人呢?爱喝酒。北方人一沾上酒,就觉得自个儿是皇上,就开始胡说八道。『万丈红尘三杯酒,千秋大业一壶茶』。

    04
    领券