展开

关键词

Atlas 2.1.0 实践(1)—— 编译Atlas

Atlas就是把元数据变成图的工具。http:atlas.apache.org? Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系统集成。 Apache Atlas为组织提供开放的元数据管理和治理功能,以建立其数据资产的目录,对这些资产进行分类和治理,并为数据科学家,分析师和数据治理团队提供围绕这些数据资产的协作功能。 Atlas不提供安装包 下载的是源码包 需要自行编译打包注意,需要先安装maven,因为这是使用maven开发的java web工程。 解压源码包tar -zxvf apache-atlas-2.1.0-sources.tar.gz 1.修改atlas源码工程的pom.xml将hbase zookeeper hive等依赖的版本修改成自己环境中一致的版本

29110

Atlas 2.1.0 实践(2)—— 安装Atlas

在完成Atlas编译以后,就可以进行Atlas的安装了。Atlas的安装主要是安装Atlas的Server端,也就Atlas的管理页面,并确保Atlas与Kafka Hbase Solr等组件的集成。 Atlas的系统架构如下,在确保 底层存储与UI界面正常后,之后就可以进行与Hive等组件的集成调试了。? 由于在编译时可以选择内部集成,所以这些Atlas是可以自带的,但是JDK一定要安装好。 二、安装Atlas到编译好的包的路径下 apache-atlas-sources-2.1.0distrotarget将生成好的安装包 apache-atlas-2.1.0-server.tar.gz 拷贝到目标路径下 解压:tar -zxvf apache-atlas-2.1.0-server.tar.gz三、修改配置进入conf目录下:vi atlas-env.sh 在此指定JAVA_HOME和是否要用内嵌启动export

67520
  • 广告
    关闭

    11.11智惠云集

    2核4G云服务器首年70元,还有多款热门云产品满足您的上云需求

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Atlas 2.1.0 实践(3)—— Atlas集成HIve

    Atlas集成Hive在安装好Atlas以后,如果想要使用起来,还要让Atlas与其他组件建立联系。其中最常用的就是Hive。? 通过Atlas的架构,只要配置好Hive Hook ,那么每次Hive做任何操作就会写入Kafka从而被atlas接收。并在Atlas中已图的形式展示出来。 会监听hive的 createupdatedelete 操作,下面是配置步骤:1、修改hive-env.sh(指定包地址)export HIVE_AUX_JARS_PATH=optappsapache-atlas 3、同步配置 拷贝atlas配置文件atlas-application.properties到hive配置目录 添加配置:atlas.hook.hive.synchronous=falseatlas.hook.hive.numRetries :- adminEnter password for atlas :-Hive Meta Data import was successful!!!

    39820

    Atlas遇见Flink——Apache Atlas 2.2.0发布!

    距离上次atlas发布新版本已经有一年的时间了,但是这一年元数据管理平台的发展一直没有停止。Datahub,Amundsen等等,都在不断的更新着自己的版本。 但是似乎Atlas在元数据管理,数据血缘领域的地位一直没有动摇。最近Atlas终于迎来又一次大的更新,发布了全新的2.2.0版本。首先来了解一下这个版本。 Apache Atlas 2.2 有哪些新功能? 已经默认增加Flink可以接受Flink的元数据了,但是Flink并没有公布对atlas的支持,捕获并发送元数据这部分还是需要做一些的工作。 Apache的一些计划更多Atlas,数据治理相关技术分享,请关注 大数据流动

    16420

    Atlas遇见Flink——Apache Atlas 2.2.0发布!

    距离上次atlas发布新版本已经有一年的时间了,但是这一年元数据管理平台的发展一直没有停止。Datahub,Amundsen等等,都在不断的更新着自己的版本。 但是似乎Atlas在元数据管理,数据血缘领域的地位一直没有动摇。最近Atlas终于迎来又一次大的更新,发布了全新的2.2.0版本。首先来了解一下这个版本。 Apache Atlas 2.2 有哪些新功能? 分类传播任务 : 分类传播将作为后台任务处理 (AtlasTask)重新索引:添加重新索引作为 JAVA_PATCH 的一部分模型更改:创建 JAVA_PATCH 以向现有实体添加新的父类型导出服务:在 Atlas 已经默认增加Flink可以接受Flink的元数据了,但是Flink并没有公布对atlas的支持,捕获并发送元数据这部分还是需要做一些的工作。

    17710

    Atlas功能特性

    1.Atlas是否支持多字符集?对多字符集的支持是我们对原版MySQL-Proxy的第一项改进,符合国情是必须的。并且支持客户端在连接时指定默认字符集。2.Atlas是否支持事务操作? 在Atlas中读操作不受影响,Atlas会将读请求转发到其他还存活的从库上。但此时写请求将会失败,因为主库宕机了。5.检测后端DB状态会阻塞正常请求么? 8.相比官方mysql-proxy, Atlas还有哪些改进? 11.在使用Atlas的过程中,发现了Atlas存在的bug或者对Atlas有新的功能需求,如何反馈给开发者?对于用户反馈的bug,我们非常重视。 Atlas不负责MySQL的主从同步操作,需要DBA自己管理。但热心的网友已经通过脚本实现了通过调用Atlas提供的接口,来监控主从之间的同步,并做上下线从库的操作。

    27220

    Flink1.12支持对接Atlas【使用Atlas收集Flink元数据】

    问题导读 1.Atlas中实体具体指什么?2.如何为Flink创建Atlas实体类型定义?3.如何验证元数据收集? 有关Atlas的更多信息,请参阅Cloudera Runtime文档。 Flink元数据集合中的Atlas实体在Atlas中,表示Flink应用程序,Kafka主题,HBase表等的核心概念称为实体。 为Flink创建Atlas实体类型定义在提交Flink作业以收集其元数据之前,需要为Flink创建Atlas实体类型定义。在命令行中,需要连接到Atlas服务器并添加预定义的类型定义。 还需要在Cloudera Manager中为Flink启用Atlas。 验证元数据收集启用Atlas元数据收集后,群集上新提交的Flink作业也将其元数据提交给Atlas。 5.启用Atlas元数据收集。 ? 成功提交后,Flink客户端会通知Atlas有关作业的元数据。 验证元数据收集启用Atlas元数据收集后,群集上新提交的Flink作业也将其元数据提交给Atlas

    47620

    Atlas-框架入门

    mabye到时间atlas官方已经适配。 从上图也可以看出基于Atlas构建后大致工程的结构:首先有个构建整体APK工程Apk_builder,里面管理着所有的依赖(包括atlas)及其版本,Apk_builder本身可能不包含任何代码,只负责构建使用 :atlasupdate:1.1.4.14@aar”依赖atlas-update更新代码组件4.开启atlas容器功能atlas atlasEnable字段需要指定为true才能开启打包阶段的基于容器扩展的 那么我们来看下官方的atlas作者提供的依赖关系图解释如下:? 支持,我们要分析atlas的环境搭建已经没问题了。(ps:目前插件和host的跳转功能尚未调通,,因为要吃饭了。。。。)

    56320

    使用Atlas进行元数据管理之Atlas简介

    然后,包含数据分类、集中策略引擎、数据血缘、安全和生命周期管理功能的Atlas应运而生。 (PS:另一个应用的较多的元数据开源项目是Linkedin 在2016年新开源的项目:WhereHows)Atlas目前最新的版本为2018年9月18日发布的1.0.0版本。1. Atlas介绍Atlas 是一个可伸缩和可扩展的核心基础治理服务集合 ,使企业能够有效地和高效地满足 Hadoop 中的合规性要求,并允许与整个企业数据生态系统的集成。 Apache Atlas为组织提供开放式元数据管理和治理功能,用以构建其数据资产目录,对这些资产进行分类和管理,并为数据科学家,数据分析师和数据治理团队提供围绕这些数据资产的协作功能。 ?2. 与Apache Ranger集成可根据与Apache Atlas中的实体相关的分类对数据访问进行授权数据屏蔽。例如: 谁可以访问分类为PII,SENSITIVE的数据。

    3K40

    Mysql中间件——Atlas

    Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。 目前该项目在360公司内部得到了广泛应用,很多MySQL业务已经接入了Atlas平台,每天承载的读写请求数达几十亿条。 时为前台方式,一般开发调试时设为false,线上运行时设为truedaemon = true (必备,默认值即可)设置Atlas的运行方式,设为true时Atlas会启动两个进程,一个为monitor, 当设置了该参数时,Atlas会主动关闭经过wait-timeout时间后一直未活跃的连接。 单位:秒wait-timeout = 10 (必备,默认值即可)Atlas监听的工作接口IP和端口, 连接altas的地址proxy-address = 0.0.0.0:1234 (必备,默认值即可)Atlas

    50920

    Apache Atlas 安装部署

    官网参考Apache Atlas环境Windows 7apache-atlas 2.1.0 HBase 2.0.2(apache-atlas内置)Solr 7.5.0(apache-atlas内置)安装步骤 运行Apache Atlascd 到此文件夹下.apache-atlas-sources-2.1.0distrotargetapache-atlas-2.1.0-binapache-atlas-2.1.0bin on host localhoststarting atlas on port 21000....................................................... .............................................................................................Apache Atlas 导入演示数据执行 quick_start.py 用户名密码 adminadminEnter username for atlas :- adminEnter password for atlas :-导入成功

    1K10

    Apache Atlas系列 -- 部署

    文章目录1 Overview2 Atlas 部署3 导入 Hive 元数据1 OverviewApache Atlas 是什么? 而 Atlas 则提供了很好的实现的参考思路和架构。2 Atlas 部署1.1.0 部署不成功。一直报集成的 HBase 的问题,不深究了,直接用 1.0.0 重新编译部署。 -1.0.0-binapache-atlas-1.0.0因为我按照官网的提示,实际上是并没有 atlas-${project.version} (version 是指你安装的版本)这个文件的。 tar -xzvf apache-atlas-${project.version}-bin.tar.gzcd atlas-${project.version}关于启动的时候,如果想知道发生了什么事情,那么可以参考以下路径 Pathtoapache-atlas-sources-1.0.0distrotargetapache-atlas-1.0.0logs正常启动的日志应该是这样的:#####################

    42220

    Mysql 中间件 Atlas MySQL

    Atlas MySQL 详细介绍Atlas是由 Qihoo 360,  Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。 A: 不会, atlas中检测线程是异步进行检测的,即使有db宕机,也不会阻塞主流程。在atlas中没有什么异常会让主流程阻塞! A: 通过管理接口可以轻松实现 Q: 相比官方mysql-proxy, atlas还有哪些改进? false,线上运行时设为truekeepalive = false    #设置Atlas的运行方式,设为true时Atlas会启动两个进程,一个为monitor,一个为worker,monitor在 实例间的区分 proxy-address = 0.0.0.0:1234    #Atlas监听的工作接口IP和端口admin-address = 0.0.0.0:2345    #Atlas监听的管理接口

    79540

    atlas大图拆分

    『 使用说明 』 *.atlas和*.png文件,放置在脚本根目录下,执行splitAtlas.py,根据提示,输入需要拆分的大图文件名,执行完成以后,就会新创建一个和大图文件名相同的文件夹,小图都在目录下面

    50510

    使用Atlas进行数据治理

    Apache Atlas为Hadoop提供了数据治理功能。Apache Atlas用作公共元数据存储,旨在在Hadoop堆栈内外交换元数据。 1.1.Apache Atlas使用元数据创建血缘关系Atlas读取收集的元数据的内容,以建立数据资产之间的关系。 Atlas仪表盘之旅快速介绍Atlas用户界面和术语。Atlas用户界面是一个包含两个部分的元数据仪表板:左侧的搜索面板。 Atlas插件或“挂钩”会收集一组预定义的信息,并将其发送到Atlas服务器。Atlas服务器通读元数据并创建实体,以表示由元数据描述的数据集和过程。 Atlas协调从每个来源的Kafka消息接收的实体元数据。2 Atlas元数据模型概述Atlas的模型表示集群数据资产和操作,并且足够灵活,可以让您表示其他来源的对象。

    3.4K10

    Mysql之读写分离架构-Atlas

    Atlas介绍?​ Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。 注意:1、Atlas只能安装运行在64位的系统上2、Centos 5.X安装 Atlas-XX.el5.x86_64.rpm,Centos6.X安装Atlas-XX.el6.x86_64.rpm。 #Atlas后端连接的MySQL主库的IP和端口,可设置多项,用逗号分隔proxy-backend-addresses = 192.168.199.149:3306 #Atlas后端连接的MySQL从库的 daemon = true #设置Atlas的运行方式,设为true时Atlas会启动两个进程,一个为monitor,一个为worker,monitor在worker意外退出后会自动将其重启,设为false #sql-log-slow = 10 #实例名称,用于同一台机器上多个Atlas实例间的区分instance = test #Atlas监听的工作接口IP和端口proxy-address = 192.168.199.227

    38260

    数据治理的王者——Apache Atlas

    一、Atlas是什么?在当今大数据的应用越来越广泛的情况下,数据治理一直是企业面临的巨大问题。 大部分公司只是单纯的对数据进行了处理,而数据的血缘,分类等等却很难实现,市场上也急需要一个专注于数据治理的技术框架,这时Atlas应运而生。 Atlas官网地址:https:atlas.apache.orgAtlas是Hadoop的数据治理和元数据框架。 Atlas包括以下组件:采用Hbase存储元数据采用Solr实现索引IngestExport 采集导出组件 Type System类型系统 Graph Engine图形引擎 共同构成Atlas的核心机制所有功能通过 API向用户提供,也可以通过Kafka消息系统进行集成Atlas支持各种源获取元数据:Hive,Sqoop,Storm。。。

    2.6K10

    Atlas-组件化框架 入门

    ps:如果您看过atlas的官方介绍,本片文章可以略过,期待我们追溯源码的过程中有你的参与摘要:Atlas是古希腊神话中的天神,是波士顿动力公司的机器人,借助搜索引擎,得以发现这个名词背后许许多多的含义 在手机淘宝,Atlas是一个扎根于Android客户端的一个组件化容器框架,相比神话中用手和头支撑起苍天的泰坦神族,Atlas在手淘默默无闻地承载着手淘上丰富业务的运行,伴随着数不清的功能在...Android Atlas组件化实现组件化,业界称为插件化,不过这里Atlas的组件化和现在的插件化有一些不一样的地方。组件化是需要去知道组件的功能,设计更规范。? Atlas动态化在一个容器框架内,组件化和动态化是相辅相成的,组件只是解决了解耦的问题,但我们如果想要随时发包,就必须让容器框架具备动态化能力。我们在完成了Atlas的组件化之后,做了动态化的支持。 atlas还有很多的弊端,当然,好处是数不胜数的期待我们下次的见面

    67440

    Mysql中间件360 Atlas踩坑

    近年来公司业务增长较快,社区用户比较活跃,回复表记录数近1亿,为了提高系统的稳定性和可扩展性,我们用Atlas做分表,表结构如下:CREATE TABLE `post_reply` ( `id` int ` mediumtext NOT NULL COMMENT 回复内容, UNIQUE KEY `idx_id` (`id`),) ENGINE=InnoDB DEFAULT CHARSET=utf8;Atlas 最近有同事反馈一些用户在查看个人回复时,部分页取不到数据,原因是一些SQL直连Mysql有返回结果,而通过Atlas返回空,SQL如下:SELECT * FROM post_reply WHERE `user_id 因为要从总表取第21-40的记录,不能保证每个子表都有40条记录,即可能表0只有10条记录,表1、表2、表3都只有10条记录,所以需要从每个子表上取前40条记录,然后将每个子表返回的记录合并再排序;但Atlas 使用Atlas的同学如果有上面LIMIT的场景得注意了。 有解决没方案呢,方案肯定是有的,方法总比问题多.记录所有用户发过的回复,然后先按用户id做分页查询回复,然后拿帖子id和回复id查询子表。

    17830

    Atlas 2.1.0 实践(4)—— 权限控制

    Atlas的权限控制非常的丰富,本文将进行其支持的各种权限控制的介绍。在atlas-application.properties配置文件中,可以设置不同权限的开关。 1、File文件控制权限是Atlas最基本的,也是默认的权限控制方式。 EXAMPLE.COMatlas.authentication.method.kerberos.keytab = .keytabatlas.authentication.method.kerberos.name.rules = RULE:(atlas 启动ldapatlas.authentication.method.ldap=trueatlas.authentication.method.ldap.type=ldap|ad对于LDAP或AD,需要在Atlas falsekeycloak.json文件配置如下{ realm: auth, auth-server-url: http:keycloak-serverauth, ssl-required: external, resource: atlas

    18510

    扫码关注云+社区

    领取腾讯云代金券