首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    数据治理:白话打通对Atlas的理解

    问题导读 1.Atlas是什么? 2.Atlas能干什么? 3.Atlas血统关系是什么? Atlas现在被企业使用的越来越多,我们可能听说过,但是具体它是什么,能干什么的,我们可能不清楚。 因此我们要解决第一个问题,Atlas是什么? Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop生态系统集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。 上面我们或许听着比较懵圈,都是啥,元数据治理是啥?为啥要元数据治理?元数据不就是用来描述数据的数据,我们这么理解没有错的,不过这个是其中重要的一项。比如Hive的元数据,那是需要第三方数据库的,大多存储到mysql中。为啥又出来一个Atlas,它能管理Hive的元数据吗?别说,还真可以的。那为啥要用Atlas来管理。这就涉及到我们的第二个问题,Atlas能干什么?。 Atlas能干什么? 其实很多大数据组件都有元数据管理,比如: Hive保存在外部数据库中,比如Mysql Hadoop元数据保存在Namenode,元数据的存储格式:data/hadoopdata/目录下 name:元数据存储目录 namenode存储元数据的存储目录 Kakfa元数据一般保存在zookeeper中 等等以上,我们的元数据每个大数据组件都有保存的地方,为啥还需要Atlas。 上面元数据是为了功能而生,都是单独的系统,散落在各个组件中,而我们能不能把这些元数据统一管理,而且数据的变化我们也能看到那就更好了。而且如果能把我们整个集群的大数据组件的元数据我们都能看到,那就更好了。看到这些有什么好处?比如我们想找到Hive有哪些表,想查看我们数据是怎么来的。这时候数据管理工具就产生了--Atlas,用来管理元数据的平台。 我们知道了Atlas是什么,能干什么,可能是比较通透了。可是还不够详细,那么接下来我们看看Atlas有哪些功能,有什么特点。这里直接借用《大数据治理与安全从理论到开源实践》书中内容。

    01

    星际争霸2-数据编辑器-菜鸟入门

    让大多数接触星际2编辑器的人歇菜的原因, 就是这个数据编辑器(Data Editor). 不管你是个新手, 还是使用魔兽3的编辑器做过一些东西, 当你怀着满腔的热情准备做一张星际2的地图时, 数据编辑器就像挡在前面的一座大山, 让人恨不得撞死算了. 这种情况同样发生在我身上. 我自信用魔兽3的对象编辑器用得炉火纯青了, 但是当我打开数据编辑器时, 连怎么做个Unit都不知道. 现在, 我总算能凑合着用数据编辑器了, 但也不是太好, 谁让爆血把这玩艺弄得这么高深来着. 这个教程里我只说一些基础, 不会做一些实际的东西. 想学那些的, 看后面的教程去. 入门 让我们以数据编辑器的截图开始:

    02

    soap和wsdl区别说明

    Web Service实现业务诉求:Web Service是真正“办事”的那个,提供一种办事接口的统称。 WSDL提供“能办的事的文档说明”:对要提供的服务的一种描述格式。我想帮你的忙,但是我要告诉你我都能干什么,以及干这些事情需要的参数类型。 SOAP提供“请求”的规范:向服务接口传递请求的格式,包括方法和参数等。你想让人家办事,总得告诉人家你想干什么吧,SOAP就是定义这个“请求”的格式的,按照SOAP定义的“请求”格式“书写”请求就可以保证Web Service能够正确的解读你想让它干什么以及你为它提供了什么参数。在这个请求中,你需要描述的主要问题有:向哪个Web Service发送请求,请求的参数类型、参数值、返回值类型。这些都“填写”完毕,也就完成了符合SOAP规范的SOAP消息。

    01

    【入门必备】自学编程,如何做到无师自通?

    又到开学季,无数莘莘学子开始了他乡求知的旅途。求学生活你要怎么开始呢?你是要先享受来之不易的求学生活呢还是继续为人生目标而奋斗。闲言少叙,当今社会一步拉下很有可能步步落后。得有忧患意识。谁也不想上完大学结果被大学给上了,毕业季很有可能就是失业季。 每个人都有自己的理想和人生目标,编程也可能是你的一个选择,路是走出来的,知识是学出来的。 如何自学编程无师自通?学习固然重要,但学习方法更重要。我起初学习的时候走过不少弯路,虽然本身是计算机专业的。刚开始也是啥是编程没有概念,纯粹为学习而学。基本上徘徊了很长一

    010

    老罗这样宣传锤子科技自己的产品,真的合适吗?

    就是他在他的显示器官网详情页,列举了很多诸如 iPhone,IBM,Mac 等一系列革命性产品,虽然他没有直说,但是大家都能理解到他想说什么 好像这样应该不会违反广告法什么的,但是是不是不太合适 你能想象一下以下场景吗? 以后你去买一辆几十万的车,宣传册上面印满了阿斯顿马丁迈巴赫等等 你去买套普通商品房,宣传内容里有不少长岛的别墅 你去看一场比后来的我们还难看的电影,宣传片却提到了教父,肖申克的救赎泰坦尼克号等等 —— 随便贴一下发到锤子区的内容(那个区确实没什么人啊) 罗老板以前开发布会宣传他的 OS 的时候,对各项功能都玩的都是挺溜的,可以说是“如数家珍” 可是这次宣传那个大触摸屏设备(实在不知道这是什么鬼),他居然需要另一个人拿个笔记本在旁边提示他要玩什么,甚至玩着玩着居然不知道怎么回事了(比如那个子弹短信拉几个人一起发的时候) 而且搞不清为什么非要搞个大屏幕,你既然觉得要被抄的裤衩都不剩,你就搞个软件嘛,让大家在现有的设备上用不就挺好嘛,一两万的东西,除了玩你那三个功能,还能干什么 全场最滑稽的就是“嘘,你们吵着我玩 tnt 了” 前面还在宣传手机降噪,那你演示的时候,就用个耳麦什么的直接连接手机来发挥你的降噪不行吗 你那个大屏幕上麦克在正面,你弄个定向麦克风不行吗 另外问一下,为什么感觉现在的降噪都这么弱智呢,现在不都是可以声纹识别了吗,有没有可能开发一下,在软件层面实现只对复合某一声纹的进行处理,以做到让罗老板和他的小秘坐在同一张办公桌上各自用各自的 TNT 修改 PPT 还有,什么效率提高了就能早点下班,估计罗老板是看马克思主义原理里面关于共产主义终极目标的内容了吧,论坛里不少想换电脑的,换的新电脑 cpu 都有所提升,我就想知道,他们换了电脑以后,是不是就能早点下班了 大家知道那个什么永中软件吗,产品到底怎么样啊 很惊叹为什么罗永浩居然带着自豪的语气说永中已经做了 20 多年了 ,我一直觉得从业时间在 IT 界是最没用的,你要是自豪的说有多少用户我还能理解,特别是对像锤子公司这样要改变世界的公司来说 而且我完全没有听说过永中软件的 office 插件,是不是我孤陋寡闻了 感觉就像一个人说他是演了二十多年电影电视剧的职业演员,可是我居然一次都没见过他 而且 TNT 就是用把以前用鼠标点变成语音嘛,完全可以找一些更有口碑的 office 插件(甚至是开源的来做嘛)

    016

    一分钟快速入门openstack

    一、它是什么,能干什么 想认识一个事物,必须先弄明白它是什么,能干什么。 首先说一下,openstack是一个搭建云平台的一个解决方案,说他不是个软件,但是我觉得说是一个软件,能够让初学者更容易接受和理解,在后期的慢慢接触过程中,大家就能够理解,为什么说它不是一个软件。openstack能干什么,可以搭建公有云,私有云,企业云。(顺便说一下,企业云将是openstack的用武之地) 二、openstack组成 上面是一个整体的认识,想进一步了解openstack,就必须了解它的组成。其实这有点像研究生物。一般生物都有眼睛,鼻子,嘴等。那么openstack,都有什么。openstack更像是经过计算机的72变之后的产物。包括:7个核心组件:Compute(计算), Object Storage(对象存储),Identity(身份认证),Dashboard(仪表盘), Block Storage(块存储), Network(网络) 和 Image Service(镜像服务) 。 上面从计算机的角度做一个比喻,有不恰当的地方,大家多指正。Compute类似计算的内存;Object Storage类似存储器;Identity就像登陆过程中,验证用户名和密码;Dashboard就操作界面;Network这个大家很容易就明白。 三、openstack组件代号 上面各个组件有名字,其实熟悉openstack的都会说他们的代号。也就是专业术语。Compute(代号为“Nova”) Identity(代号为“Keystone”) Dashboard(代号为“Horizon”) Image Service(代号为“Glance”) Network(代号为“Quantum”) Object Storage(代号为“Swift”) Block Storage(代号为“Cinder”) 四、openstack组件详细介绍 上面了解了,就差不多有点熟悉openstack了。想进一步认识,必须不能着急。下面进一步详细介绍各个组件的作用: (1)Nova 这个是最核心的,Nova最开始的时候,可以说是一套虚拟化管理程序,还可以管理网络和存储。 (2)keystone 这是提供身份认证和授权的组件。任何系统,身份认证和授权,其实都比较复杂。尤其Openstack 那么庞大的项目,每个组件都需要使用统一认证和授权。 目前keystone 要做的东西其实还是很多。没法基于角色的授权,web管理用户等。 (3)Dashboard (代号为“Horizon”) 为所有OpenStack的服务提供了一个模块化的web-based用户界面。使用这个Web GUI,可以在云上完成大多数的操作,如启动实例,分配IP地址,设置访问控制等。 (4)Glance 这是镜像管理。 目前Glance的镜像存储,支持本地存储,NFS,swift,sheepdog和Ceph,基本是够用了。 目前Glance的最大需求就是多个数据中心的镜像管理,如何复制,不过这个功能已经基本实现。还有就是租户私有的image管理,这些目前功能都已经实现。 个人感觉:Glance后续基本就是一个bug修复,稳定的阶段。 (5)Quantum 这是网络管理的组件,也是重头戏,Openstack的未来,基本都要靠quantum。上面介绍nova的时候,说过网络相关的内容,都会交给Quantum。不过Quantum的开发进度不是太如人意。Flosom规划实现功能,到Grizzly才实现。未来nova network的代码清理,估计到H版本都不见得可以实现。 Quantum 后端可以是商业产品或者开源。开源产品支持Openvswitch,和linux bridge。网络设备厂商都在积极参与,让他们的产品支持Quantum。 (6)Swift 这是对象存储的组件。对于大部分用户来说,swift不是必须的。你只有存储数量到一定级别,而且是非结构化数据才有这样的需求。很多人都问一个相同的问题:是否可以把虚拟机的存储放在swift上。简单回答:不行。你需要搞明白对象存储是干啥,擅长那些地方,那些是不行的。 swift是Openstack所有组件了最成熟的,可以在线升级版本,各种版本可以混合在一起,也就是说,1.75版本的swift可以和1.48的在一个群集里.这个是很难得的. (7)Cinder 这是存储管理的组件。Cinder存储管理主要是指虚拟机的存储管理。

    02
    领券