展开

关键词

Atlas功能特性

目前Atlas部分支持prepare功能,支持java,python,PHP(PDO方式)。 10.Altas支持多个主库的运行模式吗? 11.在使用Atlas的过程中,发现了Atlas存在的bug或者对Atlas有新的功能需求,如何反馈给开发者? 对于用户反馈的bug,我们非常重视。 12.java程序连接Atlas出现乱码问题 把jdbc连接中的amp;删除掉,例如:将 jdbc:mysql://10.10.10.37:3306/user_db? 有需要的同学参看: https://github.com/chenzhe07/Atlas_auto_setline 14.java程序连接Atlas发现不能读写分离,所有的请求都发向主库,这是为什么? 检查一下java框架,是不是默认将autocommit设置为0了,很多java框架将语句都封装在一个事务中,而Atlas会将事务请求都发向主库。 15.Atlas有sql语句黑名单过滤机制吗?

35820

数据治理:Atlas搭建启动

目录 Atlas搭建启动 一、Atlas配置 1、移动Atlas编译好的安装包 2、修改atlas-env.sh配置文件 3、修改 atlas-application.properties 配置文件 二 7、停止Atlas Atlas搭建启动 一、Atlas配置 这里安装Atlas选择单节点安装,一般公司使用单节点即可。 /apache-atlas-2.1.0/ /software/ 2、修改atlas-env.sh配置文件 修改“$ATLAS_HOME/conf/atlas-env.sh”配置文件: #配置Java home export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64/ #如果想要使用外部的HBase 改成false export MANAGE_LOCAL_HBASE=false 5、启动Atlas 进入到“/software/apache-atlas-2.1.0/bin”目录下,执行以下命令启动atlas

5631
  • 广告
    关闭

    90+款云产品免费体验

    提供包括云服务器,云数据库在内的90+款云计算产品。打造一站式的云产品试用服务,助力开发者和企业零门槛上云。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    0797-使用HDP或CDP的Atlas采集CDH6的元数据和血缘

    作者:谢敏灵 Atlas元数据采集框架 ? 目的 基于以上框架,使用HDP或CDP的Atlas采集CDH6的元数据和血缘,理论上只需要将相应的Atlas Hook正确部署到CDH6对应的服务上即可。 使用HDP Atlas采集元数据 1.获取Atlas Hive Hook的jar包 在HDP平台上,通常可以从/usr/hdp/3.1.5.0-152/atlas/hook/hive/atlas-hive-plugin-impl 3.复制Atlas配置文件到CDH节点 在CDH的HS2和HMS节点上创建/etc/atlas/conf目录,并将HDP Atlas配置文件atlas-application.properties复制到该目录 (2)在HiveServer2和Hive Metastore Server的Java配置选项里增加配置: ? 重启Hive服务。 (2)在HiveServer2和Hive Metastore Server的Java配置选项里增加配置: ? 重启Hive服务。

    1.4K30

    Atlas 架构设计及源代码简单分析

    Apache Atlas 架构图 Atlas 支持多数据源接入:Hive、HBase、Storm等 Type System Type Atlas 中定义了一些元数据类型 ── AtlasBaseTypeDef org.apache.atlas.hive.bridge.HiveMetaStoreBridge $IMPORT_ARGS importTables └── importDatabases [addons/hive-bridge/src/main/java /src/main/java/org/apache/atlas/hive/bridge/HiveMetaStoreBridge.java +289] 上面是调用过程: importTables -> importTable getAttribute(ATTRIBUTE_QUALIFIED_NAME), entity.getEntity().getGuid()); } } 通过Http Post 的请求将库表数据更新至Atlas – Data Governance and Metadata framework for Hadoop [2] Apache Atlas 源码

    42030

    0819-使用CDP7.1.3的Atlas采集CDH5.15.1的元数据和血缘

    作者:谢敏灵 Atlas元数据采集框架 ? 目的 基于以上框架,使用CDP的Atlas采集CDH5的元数据和血缘,理论上只需要将相应的Atlas Hook正确部署到CDH5对应的服务上即可。 2.复制Atlas jar包到CDH节点 将CDP的Atlas Hive Hook的jar包复制到CDH的HS2和HMS节点上。 3.复制Atlas配置文件到CDH节点 在CDH的HS2和HMS节点上创建/etc/atlas/conf目录,并将CDP Atlas配置文件atlas-application.properties复制到该目录 (3)在HiveServer2和Hive Metastore Server的Java配置选项里增加配置: ? 重启Hive服务。 备注:为了让CDP Atlas Hook能在CDH5环境下运行,需要修改部分CDP Atlas代码: 1.CDP Atlas Hive Hook的HiveMetaStoreBridge类的getDatabaseName

    93340

    Atlas 2.1.0 实践(1)—— 编译Atlas

    Atlas就是把元数据变成图的工具。 http://atlas.apache.org/ ? Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系统集成。 国内站点 速度要快一些 https://mirrors.tuna.tsinghua.edu.cn/apache/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz 编译 比较难受的是 Atlas不提供安装包 下载的是源码包 需要自行编译打包 注意,需要先安装maven,因为这是使用maven开发的java web工程。 解压源码包 tar -zxvf apache-atlas-2.1.0-sources.tar.gz 1.修改atlas源码工程的pom.xml 将hbase zookeeper hive等依赖的版本修改成自己环境中一致的版本

    43410

    数据治理之元数据管理的利器——Atlas入门宝典

    /2.1.0/apache-atlas-2.1.0-sources.tar.gz 安装maven 注意,需要先安装maven,因为这是使用maven开发的java web工程。 Atlas的安装主要是安装Atlas的Server端,也就Atlas的管理页面,并确保Atlas与Kafka Hbase Solr等组件的集成。 Atlas的安装主要是安装Atlas的Server端,也就Atlas的管理页面,并确保Atlas与Kafka Hbase Solr等组件的集成。 src/atlas/apache-atlas-2.1.0/hook/hive/atlas-plugin-classloader-2.1.0.jar atlas-application.properties /blob/6bacbe946bbc5ca72118304770d5ad920695bd52/webapp/src/main/java/org/apache/atlas/web/rest/DiscoveryREST.java

    81221

    数据治理之元数据管理的利器——Atlas入门宝典

    /2.1.0/apache-atlas-2.1.0-sources.tar.gz 安装maven 注意,需要先安装maven,因为这是使用maven开发的java web工程。 Atlas的安装主要是安装Atlas的Server端,也就Atlas的管理页面,并确保Atlas与Kafka Hbase Solr等组件的集成。 Atlas的安装主要是安装Atlas的Server端,也就Atlas的管理页面,并确保Atlas与Kafka Hbase Solr等组件的集成。 src/atlas/apache-atlas-2.1.0/hook/hive/atlas-plugin-classloader-2.1.0.jar atlas-application.properties /blob/6bacbe946bbc5ca72118304770d5ad920695bd52/webapp/src/main/java/org/apache/atlas/web/rest/DiscoveryREST.java

    23820

    MySQL主从+Atlas 实现读写分离

    一、Atlas简介: Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。 /Atlas/blob/master/README_ZH.md Atlas下载链接: https://github.com/Qihoo360/Atlas/releases 环境 系统 IP 备注 Centos 配置 下载Atlas会有两个版本,其中有个分表的版本,但是这个需要其他的依赖,我这边不需要分表这种需求,所以安装普通的版本 Atlas (普通) : Atlas-2.2.1.el6.x86_64.rpm 启动Atlas [root@localhost bin]# . 读写分离测试 测试可以使用Jmeter,它是Java写第一套开源的压力测试工具,因为这个比较方便。

    11630

    浅谈高性能数据库集群 —— 读写分离

    程序代码封装 业界开源实现 Sharding-JDBC 定位为轻量级Java框架,在Java的JDBC层提供的额外服务。 MySQL Proxy 360开源的Atlas ? Atlas架构图形象表示 ? Atlas总体架构 Atlas是由平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。

    36250

    使用Atlas进行数据治理

    Apache Atlas为Hadoop提供了数据治理功能。Apache Atlas用作公共元数据存储,旨在在Hadoop堆栈内外交换元数据。 1.1.Apache Atlas使用元数据创建血缘关系Atlas读取收集的元数据的内容,以建立数据资产之间的关系。 桥接使用Atlas API导入元数据,而不是将消息发布到Kafka。如果您需要挂钩或桥接来自动从另一个来源收集元数据,请使用Atlas Java API创建自定义的Atlas插件。1.3.1. Atlas仪表盘之旅快速介绍Atlas用户界面和术语。Atlas用户界面是一个包含两个部分的元数据仪表板:左侧的搜索面板。 Atlas插件或“挂钩”会收集一组预定义的信息,并将其发送到Atlas服务器。Atlas服务器通读元数据并创建实体,以表示由元数据描述的数据集和过程。

    4.4K10

    Atlas 2.1.0 实践(2)—— 安装Atlas

    在完成Atlas编译以后,就可以进行Atlas的安装了。 Atlas的安装主要是安装Atlas的Server端,也就Atlas的管理页面,并确保Atlas与Kafka Hbase Solr等组件的集成。 由于在编译时可以选择内部集成,所以这些Atlas是可以自带的,但是JDK一定要安装好。 二、安装Atlas 到编译好的包的路径下 apache-atlas-sources-2.1.0/distro/target 将生成好的安装包 apache-atlas-2.1.0-server.tar.gz 解压: tar -zxvf apache-atlas-2.1.0-server.tar.gz 三、修改配置 进入conf目录下: vi atlas-env.sh 在此指定JAVA_HOME和是否要用内嵌启动

    1.1K20

    Android组件化专题 - 路由框架原理

    $$Group$$module implements IRouteGroup { @Override public void loadInto(Map<String, RouterMeta> atlas class类,新建一个 java lib 取名:prim_compiler 这一步通过APT来实现。 ParameterSpec altlas = ParameterSpec .builder(atlas, Consts.GROUP_PARAM_NAME extends IRouteGroup>> routes> ParameterizedTypeName atlas = ParameterizedTypeName.get(ClassName.get extends IRouteGroup>>> routes ParameterSpec altlas = ParameterSpec .builder(atlas

    1.1K20

    『互联网架构』软件架构-mysql主从(二)

    webapp(就是java的应用程序)往主库mysqld内进行写。 Atlas官方链接: https://github.com/Qihoo360/Atlas/blob/master/README_ZH.mdAtlas下载链接: https://github.com/Qihoo360 Atlas 代理配置(需要才用,不需要上边就足够了) 如果你想使用Atlas代理,就需要102的mysql密码 和103的mysql密码保持一致,原因是360好久不维护了,提问里面有人遇见过用多个pwds 进入101 主机开始配置代理 wget https://github.com/Qihoo360/Atlas/releases/download/2.2.1/Atlas-2.2.1.el6.x86_64. #sql-log-slow = 10 #实例名称,用于同一台机器上多个Atlas实例间的区分 #instance = test #Atlas监听的工作接口IP和端口 proxy-address =

    39530

    蚂蚁金服一面面经

    介绍一下人更新和插件化,及其原理 Atlas 的细节? Atlas 和small   的区别?   没答出来~~~~~  呜呜呜~~~~~~ 了解react native吗? 简单的介绍一下 还用java 写过什么? 了解过什么脚本?lua了解吗? 对安卓的前景有什么看法? 最后,面试官问我有什么问题需要问吗? 能给我学习的一些建议吗?

    85960

    Atlas 2.1.0 实践(3)—— Atlas集成HIve

    Atlas集成Hive 在安装好Atlas以后,如果想要使用起来,还要让Atlas与其他组件建立联系。 其中最常用的就是Hive。 ? 通过Atlas的架构,只要配置好Hive Hook ,那么每次Hive做任何操作就会写入Kafka从而被atlas接收。 并在Atlas中已图的形式展示出来。 create/update/delete 操作,下面是配置步骤: 1、修改hive-env.sh(指定包地址) export HIVE_AUX_JARS_PATH=/opt/apps/apache-atlas 3、同步配置 拷贝atlas配置文件atlas-application.properties到hive配置目录 添加配置: atlas.hook.hive.synchronous=false atlas.hook.hive.numRetries 输入用户名:admin;输入密码:admin Enter username for atlas :- admin Enter password for atlas :- Hive Meta Data import

    72520

    BIGO 的数据管理与应用实践

    ;第三层则是 Atlas(绿色部分),这是最核心的元数据管理层,所有元数据、属性信息和血缘关系等都在 Atlas 进行管理,此外 Atlas 层还提供了接口供应用调用;最底层(紫色部分)是存储层,主要使用 图引擎替代 Atlas 原生图引擎是 JanusGraph,在使用过程中发现 Atlas Janus 有以下缺陷:第一,Atlas 依赖的内嵌 JanusGraph 图引擎存在单点问题,并发量上来后存在计算瓶颈 最后一点,是使用习惯的转变,在查询方式上 Nebula Graph 自研查询语言 nGQL,而 JanusGraph 支持通过 Java API 和 Gremlin 进行查询。 问题出现了如何解决呢? 在数据类型支持方面,Atlas 业务层自定义数据序列化方式来支持复杂类型。在原生索引搜索上,在系统初始化时自动创建独立索引和复合索引解决 Atlas 的搜索问题。 Atlas 和 Nebula Graph 的改造 这里,集中讲述在图引擎替换过程中 BIGO 对 Atlas 和 Nebula Graph 的改造。

    8120

    Atlas血缘分析在数据仓库中的实战案例

    配置目录 mkdir -p /opt/service/atlas/apache-atlas-2.2.0-SNAPSHOT/conf 把安装Atlas节点 atlas-application.properties tar -zxf /opt/package/atlas/apache-atlas-2.2.0-SNAPSHOT-hive-hook.tar.gz -C /opt/service/atlas/apache-atlas 4.1.8 软连接 Atlas hook 文件 ln -s /opt/service/atlas/apache-atlas-2.2.0-SNAPSHOT/apache-atlas-hive-hook 配置目录 mkdir -p /opt/service/atlas/apache-atlas-2.2.0-SNAPSHOT/conf #把安装Atlas节点 atlas-application.properties tar -zxf /opt/package/atlas/apache-atlas-2.2.0-SNAPSHOT-sqoop-hook.tar.gz -C /opt/service/atlas/apache-atlas

    29210

    Atlas血缘分析在数据仓库中的实战案例

    配置目录 mkdir -p /opt/service/atlas/apache-atlas-2.2.0-SNAPSHOT/conf 把安装Atlas节点 atlas-application.properties tar -zxf /opt/package/atlas/apache-atlas-2.2.0-SNAPSHOT-hive-hook.tar.gz -C /opt/service/atlas/apache-atlas 4.1.8 软连接 Atlas hook 文件 ln -s /opt/service/atlas/apache-atlas-2.2.0-SNAPSHOT/apache-atlas-hive-hook 配置目录 mkdir -p /opt/service/atlas/apache-atlas-2.2.0-SNAPSHOT/conf #把安装Atlas节点 atlas-application.properties tar -zxf /opt/package/atlas/apache-atlas-2.2.0-SNAPSHOT-sqoop-hook.tar.gz -C /opt/service/atlas/apache-atlas

    12710

    0742-什么是Apache Ranger - 2

    曾就业于数据收集公司如Hitwise(现为Experian的子公司)和Effective Measure,担任高级工程师,负责设计,开发和管理用于采集, 处理和报告网络数据的平台(基于PHP,Java和 同步程序会拉取用户和用户组,它支持从以下源同步用户/组: Unix LDAP AD 用户/组信息存储在Ranger管理策略数据库中,并用于策略定义 Ranger Plugins 安装在Hadoop组件中的轻量级的Java Sync 从Apache Ranger 0.6开始 它将资源分类与访问授权分开 只要资源附加了相同的标签,就可以将一个标签策略应用于多个组件 帮助减少Ranger中所需的策略数量 需要Apache Atlas 来管理元数据(Hive数据库/表,HDFS路径,Kafka Topic和标签/分类等) 基于事件 Hive等中的任何更改都会将事件发送到Kafka topic(ATLAS_HOOK),然后Atlas将获取更改 Atlas中的任何更改都会将事件发送到Kafka topic(ATLAS_ENTITIES),然后Ranger Tag Sync将获取更改 标签策略将在基于资源的策略之前进行评估 ?

    69620

    相关产品

    • 消息队列 TDMQ

      消息队列 TDMQ

      消息队列 TDMQ 是基于 Apache 顶级开源项目Pulsar自研的金融级分布式消息中间件,是一款具备跨城高一致、高可靠、高并发的分布式消息队列,拥有原生Java 、 C++、Python、GO 多种API, 支持 HTTP 协议方式接入,可为分布式应用系统提供异步解耦和削峰填谷的能力,同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。

    相关资讯

    热门标签

    扫码关注云+社区

    领取腾讯云代金券