学习
实践
活动
工具
TVP
写文章

Atlas 2.1.0 实践(2)—— 安装Atlas

在完成Atlas编译以后,就可以进行Atlas的安装了。 Atlas的安装主要是安装Atlas的Server端,也就Atlas的管理页面,并确保Atlas与Kafka Hbase Solr等组件的集成。 二、安装Atlas 到编译好的包的路径下 apache-atlas-sources-2.1.0/distro/target 将生成好的安装包 apache-atlas-2.1.0-server.tar.gz 解压: tar -zxvf apache-atlas-2.1.0-server.tar.gz 三、修改配置 进入conf目录下: vi atlas-env.sh 在此指定JAVA_HOME和是否要用内嵌启动 =slave01:9092,slave02:9092,slave03:9092 #atlas地址 atlas.rest.address=http://slave01:21000 四、启动Atlas bin

1.6K20

Atlas 2.1.0 实践(1)—— 编译Atlas

Atlas就是把元数据变成图的工具。 http://atlas.apache.org/ ? Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系统集成。 Atlas的安装坑较多,本教程将详细介绍Atlas2.1.0整个安装过程,有任何问题欢迎关注 实时流式计算 后台留言~ 下载 请前往官网 https://atlas.apache.org/#/Downloads 国内站点 速度要快一些 https://mirrors.tuna.tsinghua.edu.cn/apache/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz 解压源码包 tar -zxvf apache-atlas-2.1.0-sources.tar.gz 1.修改atlas源码工程的pom.xml 将hbase zookeeper hive等依赖的版本修改成自己环境中一致的版本

59110
  • 广告
    关闭

    2022腾讯全球数字生态大会

    11月30-12月1日,邀您一起“数实创新,产业共进”!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Atlas 2.1.0 实践(3)—— Atlas集成HIve

    Atlas集成Hive 在安装好Atlas以后,如果想要使用起来,还要让Atlas与其他组件建立联系。 其中最常用的就是Hive。 ? 通过Atlas的架构,只要配置好Hive Hook ,那么每次Hive做任何操作就会写入Kafka从而被atlas接收。 并在Atlas中已图的形式展示出来。 3、同步配置 拷贝atlas配置文件atlas-application.properties到hive配置目录 添加配置: atlas.hook.hive.synchronous=false atlas.hook.hive.numRetries =3 atlas.hook.hive.queueSize=10000 atlas.cluster.name=primary atlas.rest.address=http://doit33:21000 输入用户名:admin;输入密码:admin Enter username for atlas :- admin Enter password for atlas :- Hive Meta Data import

    94820

    使用Atlas进行元数据管理之Atlas简介

    然后,包含数据分类、集中策略引擎、数据血缘、安全和生命周期管理功能的Atlas应运而生。 (PS:另一个应用的较多的元数据开源项目是Linkedin 在2016年新开源的项目:WhereHows)Atlas目前最新的版本为2018年9月18日发布的1.0.0版本。 1. Atlas介绍 Atlas 是一个可伸缩和可扩展的核心基础治理服务集合 ,使企业能够有效地和高效地满足 Hadoop 中的合规性要求,并允许与整个企业数据生态系统的集成。 Apache Atlas为组织提供开放式元数据管理和治理功能,用以构建其数据资产目录,对这些资产进行分类和管理,并为数据科学家,数据分析师和数据治理团队提供围绕这些数据资产的协作功能。 ? 2. 与Apache Ranger集成可根据与Apache Atlas中的实体相关的分类对数据访问进行授权/数据屏蔽。例如: 谁可以访问分类为PII,SENSITIVE的数据。

    3.5K40

    Atlas功能特性

    1.Atlas是否支持多字符集? 对多字符集的支持是我们对原版MySQL-Proxy的第一项改进,符合国情是必须的。并且支持客户端在连接时指定默认字符集。 2.Atlas是否支持事务操作? 在Atlas中读操作不受影响,Atlas会将读请求转发到其他还存活的从库上。但此时写请求将会失败,因为主库宕机了。 5.检测后端DB状态会阻塞正常请求么? 8.相比官方mysql-proxy, Atlas还有哪些改进? 11.在使用Atlas的过程中,发现了Atlas存在的bug或者对Atlas有新的功能需求,如何反馈给开发者? 对于用户反馈的bug,我们非常重视。 Atlas不负责MySQL的主从同步操作,需要DBA自己管理。但热心的网友已经通过脚本实现了通过调用Atlas提供的接口,来监控主从之间的同步,并做上下线从库的操作。

    43120

    Atlas 高可用部署

    =true 2)Hbase相关配置 atlas.graph.storage.backend=hbase2 atlas.graph.storage.hbase.table=apache_atlas_janus =false atlas.kafka.data=/home/service/apache-atlas-2.1.0/data/kafka atlas.kafka.zookeeper.connect=node1 href="http://atlas.kafka.hook.group.id/">atlas.kafka.hook.group.id=atlas atlas.kafka.enable.auto.commit =1 atlas.notification.topics=ATLAS_HOOK,ATLAS_ENTITIES atlas.notification.log.failed.messages=true atlas.notification.consumer.retry.interval ### atlas.server.ids=id1,id2 atlas.server.address.id1=hostname1:21000 atlas.server.address.id1=hostname2

    5610

    Atlas遇见Flink——Apache Atlas 2.2.0发布!

    距离上次atlas发布新版本已经有一年的时间了,但是这一年元数据管理平台的发展一直没有停止。Datahub,Amundsen等等,都在不断的更新着自己的版本。 但是似乎Atlas在元数据管理,数据血缘领域的地位一直没有动摇。 最近Atlas终于迎来又一次大的更新,发布了全新的2.2.0版本。 首先来了解一下这个版本。 Apache Atlas 2.2 有哪些新功能? Python 客户端:重构和增强的 Atlas Python 客户端,支持 Python 2.7 搜索:更新了自由文本搜索处理器以支持 Elasticsearch,支持带有特殊字符的搜索文本,优化分页 已经默认增加Flink可以接受Flink的元数据了,但是Flink并没有公布对atlas的支持,捕获并发送元数据这部分还是需要做一些的工作。

    74011

    Atlas遇见Flink——Apache Atlas 2.2.0发布!

    距离上次atlas发布新版本已经有一年的时间了,但是这一年元数据管理平台的发展一直没有停止。Datahub,Amundsen等等,都在不断的更新着自己的版本。 但是似乎Atlas在元数据管理,数据血缘领域的地位一直没有动摇。 最近Atlas终于迎来又一次大的更新,发布了全新的2.2.0版本。 首先来了解一下这个版本。 Apache Atlas 2.2 有哪些新功能? 已经默认增加Flink可以接受Flink的元数据了,但是Flink并没有公布对atlas的支持,捕获并发送元数据这部分还是需要做一些的工作。 Apache的一些计划 更多Atlas,数据治理相关技术分享,请关注 大数据流动

    38520

    atlas大图拆分

    『 使用说明 』 *.atlas和*.png文件,放置在脚本根目录下,执行splitAtlas.py,根据提示,输入需要拆分的大图文件名,执行完成以后,就会新创建一个和大图文件名相同的文件夹,小图都在目录下面

    81310

    Apache Atlas 安装部署

    官网参考 Apache Atlas 环境 Windows 7 apache-atlas 2.1.0 HBase 2.0.2(apache-atlas内置) Solr 7.5.0(apache-atlas 运行Apache Atlas cd 到此文件夹下 . \apache-atlas-sources-2.1.0\distro\target\apache-atlas-2.1.0-bin\apache-atlas-2.1.0\bin 执行: set MANAGE_LOCAL_HBASE =true set MANAGE_LOCAL_SOLR=true atlas_start.py 注意: 首先配置环境变量(MANAGE_LOCAL_HBASE、MANAGE_LOCAL_SOLR 让Atlas 导入演示数据 执行 quick_start.py 用户名密码 admin/admin Enter username for atlas :- admin Enter password for atlas

    1.7K10

    Mysql中间件——Atlas

    Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。 目前该项目在360公司内部得到了广泛应用,很多MySQL业务已经接入了Atlas平台,每天承载的读写请求数达几十亿条。 同时,有超过50家公司在生产环境中部署了Atlas,超过800人已加入了我们的开发者交流群,并且这些数字还在不断增加。 时为前台方式,一般开发调试时设为false,线上运行时设为true daemon = true (必备,默认值即可)设置Atlas的运行方式,设为true时Atlas会启动两个进程,一个为monitor 当设置了该参数时,Atlas会主动关闭经过'wait-timeout'时间后一直未活跃的连接。

    66520

    启动Apache Atlas时报错

    问题描述 启动Apache Atlas时,报错信息如下 Caused by: org.janusgraph.diskstorage.PermanentBackendException: Read 1 locks (AtlasJanusGraphManagement.java:129) at org.apache.atlas.repository.graph.GraphBackedSearchIndexer.commit (GraphBackedSearchIndexer.java:363) at org.apache.atlas.repository.graph.GraphBackedSearchIndexer <init>(GraphBackedSearchIndexer.java:129) at org.apache.atlas.repository.graph.GraphBackedSearchIndexer (EmbeddedServer.java:98) at org.apache.atlas.Atlas.main(Atlas.java:133) Caused by: org.janusgraph.diskstorage.locking.PermanentLockingException

    77510

    MySQL 高可用架构Atlas

    Atlas主要功能: 1.读写分离 2.从库负载均衡 3.IP过滤 4.自动分表 5.DBA可平滑上下线DB 6.自动摘除宕机的DB Atlas介绍 Atlas是一个位于应用程序与MySQL 在后端DB看来, Atlas相当于连接它的客户端,在前端应用看来, Atlas相当于一个DB。 在运行Atlas之前,需要对该文件进行配置。 Atlas读写分离 Atlas后端连接的MySQL主库的IP和端口,可设置多项,用逗号分隔 例如 proxy-backend-addresses = 192.168.237.128:3308 Atlas 分片 Sharding当前是Atlas的分布式分支, 是Atlas最近重点开发的功能.

    16810

    Apache Atlas系列 -- 部署

    文章目录 1 Overview 2 Atlas 部署 3 导入 Hive 元数据 1 Overview Apache Atlas 是什么? 而 Atlas 则提供了很好的实现的参考思路和架构。 2 Atlas 部署 1.1.0 部署不成功。一直报集成的 HBase 的问题,不深究了,直接用 1.0.0 重新编译部署。 -1.0.0/distro/target/apache-atlas-1.0.0-bin/apache-atlas-1.0.0 因为我按照官网的提示,实际上是并没有 atlas-${project.version tar -xzvf apache-atlas-${project.version}-bin.tar.gz cd atlas-${project.version} 关于启动的时候,如果想知道发生了什么事情 /Path/to/apache-atlas-sources-1.0.0/distro/target/apache-atlas-1.0.0/logs 正常启动的日志应该是这样的: ############

    67420

    Atlas-框架入门

    mabye到时间atlas官方已经适配。 不太理解atlas结构和打包流程的可以参考官网: https://alibaba.github.io/atlas/ 在开始前我们需要了解下基本的结构概念: Bundle: 类似OSGI规范里面bundle '//依赖atlas-pulgin组件 3.添加运行库依赖 compile “com.taobao.android:atlas_core:5.0.7.55@aar”//依赖atlas-core引擎代码组件 compile “com.taobao.android:atlasupdate:1.1.4.14@aar”//依赖atlas-update更新代码组件 4.开启atlas容器功能atlas atlasEnable 那么我们来看下官方的 atlas作者提供的依赖关系图解释如下: ?

    71020

    Atlas实现MySQL主从分离

    一.介绍Atlas及架构图 Atlas源代码用C语言编写,它对于Web Server相当于是DB,相对于DB相当于是Client,如果把Atlas的逻辑放到Web Server程序里去处理,这样会大大增加 是架设在Web Server与DB之间的一个中间件,Web Server与DB之间的耦合关系放到了Atlas来处理,既做到了灵活也保留了性能,这也是Atlas存在的价值。       mysql slave :192.168.200.102  atlas :192.168.200.103 atlas有两个port,分别为 工作端口: proxy-address项配置,例如proxy-address 二.安装Atlas  注意:只能安装在64位的Linux操作系统上,CentOS官方建议rpm安装方式 三.实施案例 1.目录结构  bin: 该目录存放atlas启动程序,还有加密脚本  conf: 3.安装配置Atlas 下载地址:https://github.com/Qihoo360/Atlas/releases [root@Atlas ~]# rpm -ivh Atlas-2.2.1.el5.

    9010

    Mysql 中间件 Atlas MySQL

    Atlas MySQL 详细介绍 Atlas是由 Qihoo 360,  Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。 A: 不会, atlas中检测线程是异步进行检测的,即使有db宕机,也不会阻塞主流程。在atlas中没有什么异常会让主流程阻塞! A: 通过管理接口可以轻松实现 Q: 相比官方mysql-proxy, atlas还有哪些改进? ,设为false时为前台方式,一般开发调试时设为false,线上运行时设为true keepalive = false    #设置Atlas的运行方式,设为true时Atlas会启动两个进程,一个为monitor 实例间的区分 proxy-address = 0.0.0.0:1234    #Atlas监听的工作接口IP和端口 admin-address = 0.0.0.0:2345    #Atlas监听的管理接口

    96940

    数据治理(七):Atlas搭建启动

    Atlas搭建启动一、Atlas配置这里安装Atlas选择单节点安装,一般公司使用单节点即可。 安装步骤如下:1、移动Atlas编译好的安装包将编译好的Atlas安装包移动到/software下进入“/software/apache-atlas-sources-2.1.0/distro/target /apache-atlas-2.1.0-bin”路径下,将“apache-atlas-2.1.0”移动到“/software”下[root@node3 ~]# cd /software/apache-atlas-sources /apache-atlas-2.1.0/ /software/2、修改atlas-env.sh配置文件修改“$ATLAS_HOME/conf/atlas-env.sh”配置文件:#配置Java homeexport 图片5、启动Atlas进入到“/software/apache-atlas-2.1.0/bin”目录下,执行以下命令启动atlas

    38241

    数据治理(九):Atlas界面操作

    Atlas界面操作 安装好Atlas之后,可以操作Atlas页面这里主要查看导入Hive的元数据信息。

    34271

    MySQL工具Atlas的安装使用

    4.3 节点管理 4.3.1 查看所有节点 4.3.2 节点的上线和下线 4.3.3 添加删除节点 4.4 用户管理 4.4.1 在主库增加数据库用户 4.4.2 查看当前用 4.4.3 增加Atlas 用户 作者:AshesCat 1、介绍 Atlas是由Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目 它是在mysql-proxy 0.8.2版本的基础上 ,对其进行了优化,增加了一些新的功能特性 360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条 下载地址 :https://github.com/Qihoo360/Atlas /releases 注意: 1、Atlas只能安装运行在64位的系统上 2、Centos 5.X安装Atlas-XX.el5.x86_64.rpm,Centos 6.X/7.X安装Atlas-XX.el6 2.2 下载安装Altas wget https://github.com/Qihoo360/Atlas/releases/download/2.2.1/Atlas-2.2.1.el6.x86_64.

    22320

    扫码关注腾讯云开发者

    领取腾讯云代金券