atlas教程_atlas_atlas js - 腾讯云开发者社区

文章/答案/技术大牛

写文章

Atlas 2.1.0 实践（2）—— 安装Atlas

在完成Atlas编译以后，就可以进行Atlas的安装了。 Atlas的安装主要是安装Atlas的Server端，也就Atlas的管理页面，并确保Atlas与Kafka Hbase Solr等组件的集成。二、安装Atlas 到编译好的包的路径下 apache-atlas-sources-2.1.0/distro/target 将生成好的安装包 apache-atlas-2.1.0-server.tar.gz 解压： tar -zxvf apache-atlas-2.1.0-server.tar.gz 三、修改配置进入conf目录下： vi atlas-env.sh 在此指定JAVA_HOME和是否要用内嵌启动 =slave01:9092,slave02:9092,slave03:9092 #atlas地址 atlas.rest.address=http://slave01:21000 四、启动Atlas bin

1.8K2 0

Atlas 2.1.0 实践（1）—— 编译Atlas

Atlas就是把元数据变成图的工具。 http://atlas.apache.org/ ? Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。 Atlas的安装坑较多，本教程将详细介绍Atlas2.1.0整个安装过程，有任何问题欢迎关注实时流式计算后台留言~ 下载请前往官网 https://atlas.apache.org/#/Downloads 国内站点速度要快一些 https://mirrors.tuna.tsinghua.edu.cn/apache/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz 解压源码包 tar -zxvf apache-atlas-2.1.0-sources.tar.gz 1.修改atlas源码工程的pom.xml 将hbase zookeeper hive等依赖的版本修改成自己环境中一致的版本

6851 0

关闭

2023新春采购节

领8888元新春采购礼包，抢爆款2核2G云服务器95元/年起，个人开发者加享折上折

您找到你想要的搜索结果了吗？

是的

没有找到

Atlas 2.1.0 实践（3）—— Atlas集成HIve

Atlas集成Hive 在安装好Atlas以后，如果想要使用起来，还要让Atlas与其他组件建立联系。其中最常用的就是Hive。 ? 通过Atlas的架构，只要配置好Hive Hook ，那么每次Hive做任何操作就会写入Kafka从而被atlas接收。并在Atlas中已图的形式展示出来。 3、同步配置拷贝atlas配置文件atlas-application.properties到hive配置目录添加配置： atlas.hook.hive.synchronous=false atlas.hook.hive.numRetries =3 atlas.hook.hive.queueSize=10000 atlas.cluster.name=primary atlas.rest.address=http://doit33:21000 输入用户名：admin；输入密码：admin Enter username for atlas :- admin Enter password for atlas :- Hive Meta Data import

1.1K2 0

使用Atlas进行元数据管理之Atlas简介

然后，包含数据分类、集中策略引擎、数据血缘、安全和生命周期管理功能的Atlas应运而生。 (PS：另一个应用的较多的元数据开源项目是Linkedin 在2016年新开源的项目：WhereHows)Atlas目前最新的版本为2018年9月18日发布的1.0.0版本。 1. Atlas介绍 Atlas 是一个可伸缩和可扩展的核心基础治理服务集合，使企业能够有效地和高效地满足 Hadoop 中的合规性要求，并允许与整个企业数据生态系统的集成。 Apache Atlas为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理，并为数据科学家，数据分析师和数据治理团队提供围绕这些数据资产的协作功能。 ? 2. 与Apache Ranger集成可根据与Apache Atlas中的实体相关的分类对数据访问进行授权/数据屏蔽。例如：谁可以访问分类为PII，SENSITIVE的数据。

3.7K4 0

【图文教程】MongoDB云数据库Atlas的使用

MongoDB Atlas 学习使用 MongoDB 官方提供的免费云数据库，初学者的学习利器，手把手图文教程。 1. Atlas 的的缺点：最大的缺点就是有点慢！注册、创建和配置 Atlas 第1步，首先注册用户：https://www.mongodb.com/cloud/atlas/register，创建后来到如下界面，填写组织名，云服务默认选择 MongoDB Atlas 即可。连接到 Atlas 集群创建和配置好Atlas 集群后，我们就可以用 Mongoose 模块和 MongoDB 客户端工具进行连接了。

1.8K4 1

Atlas功能特性

1.Atlas是否支持多字符集？对多字符集的支持是我们对原版MySQL-Proxy的第一项改进，符合国情是必须的。并且支持客户端在连接时指定默认字符集。 2.Atlas是否支持事务操作？在Atlas中读操作不受影响，Atlas会将读请求转发到其他还存活的从库上。但此时写请求将会失败，因为主库宕机了。 5.检测后端DB状态会阻塞正常请求么？ 8.相比官方mysql-proxy, Atlas还有哪些改进？ 11.在使用Atlas的过程中，发现了Atlas存在的bug或者对Atlas有新的功能需求，如何反馈给开发者？对于用户反馈的bug，我们非常重视。 Atlas不负责MySQL的主从同步操作，需要DBA自己管理。但热心的网友已经通过脚本实现了通过调用Atlas提供的接口，来监控主从之间的同步，并做上下线从库的操作。

5112 0

Atlas 高可用部署

=true 2）Hbase相关配置 atlas.graph.storage.backend=hbase2 atlas.graph.storage.hbase.table=apache_atlas_janus =false atlas.kafka.data=/home/service/apache-atlas-2.1.0/data/kafka atlas.kafka.zookeeper.connect=node1 href="http://atlas.kafka.hook.group.id/">atlas.kafka.hook.group.id=atlas atlas.kafka.enable.auto.commit =1 atlas.notification.topics=ATLAS_HOOK,ATLAS_ENTITIES atlas.notification.log.failed.messages=true atlas.notification.consumer.retry.interval ### atlas.server.ids=id1,id2 atlas.server.address.id1=hostname1:21000 atlas.server.address.id1=hostname2

1131 0

当Atlas遇见Flink——Apache Atlas 2.2.0发布！

距离上次atlas发布新版本已经有一年的时间了，但是这一年元数据管理平台的发展一直没有停止。Datahub，Amundsen等等，都在不断的更新着自己的版本。但是似乎Atlas在元数据管理，数据血缘领域的地位一直没有动摇。最近Atlas终于迎来又一次大的更新，发布了全新的2.2.0版本。首先来了解一下这个版本。 Apache Atlas 2.2 有哪些新功能？已经默认增加Flink可以接受Flink的元数据了，但是Flink并没有公布对atlas的支持，捕获并发送元数据这部分还是需要做一些的工作。 Apache的一些计划更多Atlas，数据治理相关技术分享，请关注大数据流动

4362 0

当Atlas遇见Flink——Apache Atlas 2.2.0发布！

距离上次atlas发布新版本已经有一年的时间了，但是这一年元数据管理平台的发展一直没有停止。Datahub，Amundsen等等，都在不断的更新着自己的版本。但是似乎Atlas在元数据管理，数据血缘领域的地位一直没有动摇。最近Atlas终于迎来又一次大的更新，发布了全新的2.2.0版本。首先来了解一下这个版本。 Apache Atlas 2.2 有哪些新功能？ Python 客户端：重构和增强的 Atlas Python 客户端，支持 Python 2.7 搜索：更新了自由文本搜索处理器以支持 Elasticsearch，支持带有特殊字符的搜索文本，优化分页已经默认增加Flink可以接受Flink的元数据了，但是Flink并没有公布对atlas的支持，捕获并发送元数据这部分还是需要做一些的工作。

8861 1

atlas大图拆分

『使用说明』 *.atlas和*.png文件，放置在脚本根目录下，执行splitAtlas.py，根据提示，输入需要拆分的大图文件名，执行完成以后，就会新创建一个和大图文件名相同的文件夹，小图都在目录下面

9321 0

Apache Atlas 安装部署

官网参考 Apache Atlas 环境 Windows 7 apache-atlas 2.1.0 HBase 2.0.2(apache-atlas内置) Solr 7.5.0(apache-atlas 运行Apache Atlas cd 到此文件夹下 . \apache-atlas-sources-2.1.0\distro\target\apache-atlas-2.1.0-bin\apache-atlas-2.1.0\bin 执行: set MANAGE_LOCAL_HBASE =true set MANAGE_LOCAL_SOLR=true atlas_start.py 注意: 首先配置环境变量(MANAGE_LOCAL_HBASE、MANAGE_LOCAL_SOLR 让Atlas 导入演示数据执行 quick_start.py 用户名密码 admin/admin Enter username for atlas :- admin Enter password for atlas

1.9K1 0

Mysql中间件——Atlas

Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。同时，有超过50家公司在生产环境中部署了Atlas，超过800人已加入了我们的开发者交流群，并且这些数字还在不断增加。时为前台方式，一般开发调试时设为false，线上运行时设为true daemon = true (必备，默认值即可)设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor 当设置了该参数时，Atlas会主动关闭经过'wait-timeout'时间后一直未活跃的连接。

7382 0

启动Apache Atlas时报错

问题描述启动Apache Atlas时，报错信息如下 Caused by: org.janusgraph.diskstorage.PermanentBackendException: Read 1 locks (AtlasJanusGraphManagement.java:129) at org.apache.atlas.repository.graph.GraphBackedSearchIndexer.commit (GraphBackedSearchIndexer.java:363) at org.apache.atlas.repository.graph.GraphBackedSearchIndexer <init>(GraphBackedSearchIndexer.java:129) at org.apache.atlas.repository.graph.GraphBackedSearchIndexer (EmbeddedServer.java:98) at org.apache.atlas.Atlas.main(Atlas.java:133) Caused by: org.janusgraph.diskstorage.locking.PermanentLockingException

8871 0

MySQL 高可用架构Atlas

Atlas主要功能： 1.读写分离 2.从库负载均衡 3.IP过滤 4.自动分表 5.DBA可平滑上下线DB 6.自动摘除宕机的DB Atlas介绍 Atlas是一个位于应用程序与MySQL 在后端DB看来， Atlas相当于连接它的客户端，在前端应用看来， Atlas相当于一个DB。在运行Atlas之前，需要对该文件进行配置。 Atlas读写分离 Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔例如 proxy-backend-addresses = 192.168.237.128:3308 Atlas 分片 Sharding当前是Atlas的分布式分支, 是Atlas最近重点开发的功能.

3381 0

Apache Atlas系列 -- 部署

文章目录 1 Overview 2 Atlas 部署 3 导入 Hive 元数据 1 Overview Apache Atlas 是什么？而 Atlas 则提供了很好的实现的参考思路和架构。 2 Atlas 部署 1.1.0 部署不成功。一直报集成的 HBase 的问题，不深究了，直接用 1.0.0 重新编译部署。 -1.0.0/distro/target/apache-atlas-1.0.0-bin/apache-atlas-1.0.0 因为我按照官网的提示，实际上是并没有 atlas-${project.version tar -xzvf apache-atlas-${project.version}-bin.tar.gz cd atlas-${project.version} 关于启动的时候，如果想知道发生了什么事情 /Path/to/apache-atlas-sources-1.0.0/distro/target/apache-atlas-1.0.0/logs 正常启动的日志应该是这样的： ############

7432 0

Atlas-框架入门

mabye到时间atlas官方已经适配。不太理解atlas结构和打包流程的可以参考官网： https://alibaba.github.io/atlas/ 在开始前我们需要了解下基本的结构概念： Bundle: 类似OSGI规范里面bundle '//依赖atlas-pulgin组件 3.添加运行库依赖 compile “com.taobao.android:atlas_core:5.0.7.55@aar”//依赖atlas-core引擎代码组件 compile “com.taobao.android:atlasupdate:1.1.4.14@aar”//依赖atlas-update更新代码组件 4.开启atlas容器功能atlas atlasEnable 那么我们来看下官方的 atlas作者提供的依赖关系图解释如下： ?

7582 0

Atlas实现MySQL主从分离

一.介绍Atlas及架构图 Atlas源代码用C语言编写，它对于Web Server相当于是DB,相对于DB相当于是Client,如果把Atlas的逻辑放到Web Server程序里去处理，这样会大大增加是架设在Web Server与DB之间的一个中间件，Web Server与DB之间的耦合关系放到了Atlas来处理，既做到了灵活也保留了性能，这也是Atlas存在的价值。 mysql slave ：192.168.200.102 atlas ：192.168.200.103 atlas有两个port，分别为工作端口： proxy-address项配置，例如proxy-address 二.安装Atlas 注意：只能安装在64位的Linux操作系统上，CentOS官方建议rpm安装方式三.实施案例 1.目录结构 bin：该目录存放atlas启动程序，还有加密脚本 conf： 3.安装配置Atlas 下载地址：https://github.com/Qihoo360/Atlas/releases [root@Atlas ~]# rpm -ivh Atlas-2.2.1.el5.

1521 0

Mysql 中间件 Atlas MySQL

Atlas MySQL 详细介绍 Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。 A: 不会, atlas中检测线程是异步进行检测的，即使有db宕机，也不会阻塞主流程。在atlas中没有什么异常会让主流程阻塞! A: 通过管理接口可以轻松实现 Q: 相比官方mysql-proxy, atlas还有哪些改进？，设为false时为前台方式，一般开发调试时设为false，线上运行时设为true keepalive = false #设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor 实例间的区分 proxy-address = 0.0.0.0:1234 #Atlas监听的工作接口IP和端口 admin-address = 0.0.0.0:2345 #Atlas监听的管理接口

1K4 0

数据治理（七）：Atlas搭建启动

Atlas搭建启动一、Atlas配置这里安装Atlas选择单节点安装，一般公司使用单节点即可。安装步骤如下：1、移动Atlas编译好的安装包将编译好的Atlas安装包移动到/software下进入“/software/apache-atlas-sources-2.1.0/distro/target /apache-atlas-2.1.0-bin”路径下，将“apache-atlas-2.1.0”移动到“/software”下[root@node3 ~]# cd /software/apache-atlas-sources /apache-atlas-2.1.0/ /software/2、修改atlas-env.sh配置文件修改“$ATLAS_HOME/conf/atlas-env.sh”配置文件：#配置Java homeexport 图片5、启动Atlas进入到“/software/apache-atlas-2.1.0/bin”目录下，执行以下命令启动atlas。

5154 1

数据治理（九）：Atlas界面操作

Atlas界面操作安装好Atlas之后，可以操作Atlas页面这里主要查看导入Hive的元数据信息。

4037 1

点击加载更多

关注

腾讯云开发者公众号

将获得

10元无门槛代金券

洞察腾讯核心技术

剖析业界实践案例

Atlas 2.1.0 实践（2）—— 安装Atlas

Atlas 2.1.0 实践（1）—— 编译Atlas

2023新春采购节

Atlas 2.1.0 实践（3）—— Atlas集成HIve

使用Atlas进行元数据管理之Atlas简介

【图文教程】MongoDB云数据库Atlas的使用

Atlas功能特性

Atlas 高可用部署

当Atlas遇见Flink——Apache Atlas 2.2.0发布！

当Atlas遇见Flink——Apache Atlas 2.2.0发布！

atlas大图拆分

Apache Atlas 安装部署

Mysql中间件——Atlas

启动Apache Atlas时报错

MySQL 高可用架构Atlas

Apache Atlas系列 -- 部署

Atlas-框架入门

Atlas实现MySQL主从分离

Mysql 中间件 Atlas MySQL

数据治理（七）：Atlas搭建启动

数据治理（九）：Atlas界面操作

关注

相关产品

机器翻译

相关资讯

热门标签

活动推荐

《云安全最佳实践》火热征稿中

Techo Day腾讯技术开放日有奖征集

社区

活动

资源

关于

归档

腾讯云开发者

2023新春采购节

《云安全最佳实践》火热征稿中

Techo Day腾讯技术开放日有奖征集

社区

活动

资源

关于

归档

腾讯云开发者

热门产品

热门推荐

更多推荐