Presto 做查询引擎，所以基于 Presto 的 Apache Ranger 插件，使用 Apache Ranger 做更细粒度的表级权限管控。...而经过一段时间的使用后，现行的权限管控方式面临了诸多问题： Metabase 和 Apache Ranger 的权限管理方式已经不能满足需要，Metabase 的权限控制粒度较粗，其粒度是数据源、集合、...同样 Apache Ranger 也是依赖于管理员来进行权限管控，权限配置效率低。 权限管理分散在多个系统中，维护成本高，如果有新增应用系统，如小采DA，需要另外再开发一套权限系统。...做到一次授权，多方（多个数据平台）使用。同时可以满足事后审计、溯源需求。 支持表级、字段级、行级、Metabase 看板和报表等各种粒度的权限管控，打通元数据的分类分级信息。...Metabase 系统使用 了 Presto 作为查询引擎，自建的小采 DA 应用则使用 Presto 或 Starrocks 查询数据。
这两天Apache基金会，这个因为大数据而成名的开源基金会连续不断的宣布将一系列的项目束之高阁报废，也就是所谓的进入Apache Attic。这些项目的PMC委员会会解散。...比如说如今已经合并，曾经的Cloudera和Hortonworks在各方面展开竞争，Sentry和Ranger是两个对HIVE Metadata Store进行细粒度权限管理的开源项目，也是这两家公司竞争的产物...但是Hortonworks的Ranger却比Sentry更受开源社区的力挺。现在很多公司还是在基于Ranger提供企业级的权限管理，比如说Starburst。...Starburst这公司是做Presto的商业化的。当然Presto社区分裂，三个创始人从Facebook离职，之后又经过了一年的竞业等待后加入Starburst。...其他的Presto和Apache真没什么关系。至于Flink，以前德国人搞的时候就感觉喜忧参半，进了阿里以后，就一入阿里深似海了。 哎，热热闹闹的大数据圈啊，如今还热热闹闹吗？
为了支持字段级血缘分析，以及支持 Presto SQL 方言，我们对 Hive 提供的抽象语法树解析代码做了修改。...对 orc 文件，简单的 count 计算，Presto 并不会整个文件扫描，而仅仅读取 orc 文件的 index data 部分就可以得到行数。在实际运行中，几亿行的表都可以秒级得到行数。...受到了 apache ranger 的启发，我们使用表名匹配的方式来动态的计算表所归属的业务域，只需配置几十个业务域规则，而不用对每张表分别配置。...业务域扩展的权限管理 前面提到业务域是使用与 apache ranger 相同的表名匹配的管理方式，这样就天然把业务域扩展到了权限管理上。...用户执行 SQL 时，利用 Hiveserver 自动在 ranger 做表级的鉴权；当用户申请权限并审批通过，会相应的在 ranger 上增加一条记录。
官方文档： https://ranger.apache.org/quick_start_guide.html 编译Ranger源码 首先准备好Java和Maven环境： [root@hadoop01 ~...ranger-3.0.0-SNAPSHOT-presto-plugin.tar.gz ranger-3.0.0-SNAPSHOT-storm-plugin.tar.gz maven-shared-archive-resources...在MySQL中创建ranger数据库： create database ranger; 由于我这里使用的是MySQL8.x，需要修改一下数据库相关的脚本。...Starting Apache Ranger Admin Service Apache Ranger Admin Service with pid 52505 has started....-3.0.0-SNAPSHOT-admin]# 使用浏览器访问6080端口，进入到登录页面，默认用户名和密码均为admin： [fgzvkazmhh.png] 登录成功后，进入到首页，如下： [ofgserkmy5
CDP 私有云基础提供 3 个级别的安全性来实现这些功能 等级 安全 特征 0 不安全 未配置安全性。不应该在生产环境中使用非安全集群，因为它们容易受到任何攻击和被利用。...就本文档而言，我们将重点关注最安全的第 3 级安全性。...每个区域中的服务使用 kerberos 和传输层安全性 (TLS) 的组合来验证各自主机角色之间的连接和 API 调用，这允许强制执行授权策略并捕获审计事件。...Apache Ranger Apache Ranger 是一个跨平台启用、监控和管理综合数据安全性的框架。...HDP 客户将受益于新的Apache Ranger RMS将 Hive 表级授权与以前在 Apache Sentry 中可用的 HDFS 文件系统同步的功能。
我们不希望一些敏感数据被他人访问，希望可以按照一种规则给部分人访问权限，以防止数据泄露，针对数据安全管理可以使用Apache Ranger实现。...一、Ranger介绍 Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。...我们可以通过Ranger提供的UI界面或者Rest API来管理所有与安全性相关的任务，可以使用管理工具来对Hadoop体系中的组件进行授权。...Ranger优点如下： 丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）。 提供了细粒度级权限控制（hive列级别）。 权限控制插件式，统一方便的策略管理。...Ranger官网：Apache Ranger – Introduction 二、Ranger架构 Ranger架构如下： Ranger-admin: Ranger实现安全管理的核心就是Ranger-admin
在CDH 5.11（Kudu 1.3.0）中添加了粗粒度的授权和身份验证，这使得可以仅对可以应用Apache Sentry策略的Apache Impala进行访问限制，从而启用了更多的用例。...怎么运行的 Ranger由具有Web UI和REST API的管理服务器组成，管理员可以使用REST API创建策略。...使用Ranger设置Kudu 在Cloudera Manager中为Kudu设置Ranger授权非常简单。如果Ranger和Kudu都安装在CDP中，则需要在Kudu的配置中选择Ranger服务。...可以在Ranger中为Kudu设置基于资源的访问控制（RBAC）策略，但是Kudu当前不支持基于标签的策略、行级过滤或列掩码。...结论 安全性是数据平台中非常重要的部分，我们在Cloudera，我们了解这些。我们一直在努力使CDP更加安全，并且在保持安全性的同时更易于管理。
Direct Reader授权限制 由于 Spark 允许用户运行任意代码，因此 Spark 本身无法实现 Ranger 细粒度访问控制，例如行级过滤或列级屏蔽。...授权外部表 作为管理员，您需要了解如何授权用户对Apache Hive 外部表进行读写，包括使用Spark SQL、Hue 和Beeline 访问表。您还需要为用户配置表的文件级权限。...添加属性名称和值。 重复步骤以添加其他属性。 保存更改。 为用户配置表的文件级权限。 只有对外部表具有文件级权限的用户才能访问外部表。...要集成 HMS API 和 Ranger 以授权查询，您需要使用 Cloudera Manager 将以下 HMS 属性和值添加到 hive-site.xml： hive.metastore.pre.event.listeners...要集成 HMS API 和 Ranger 以授权查询，您需要使用 Cloudera Manager 将以下 HMS 属性和值添加到 hive-site.xml： hive.metastore.pre.event.listeners
HDP3.0默认安装包括Apache Ranger与Apache Atlas，目的是提供受信任以及安全的数据库。...引入此功能是使用proc-v2来实现所有master操作，并在未来移除像hbck这种工具。使用proc-v2创建，修改和删除表。...11.加强Local和Global的二级索引。...3.7.安全和治理 3.7.1.Apache Ranger 3.7.1.1.核心策略引擎和审计功能增强 1.可调度策略：策略生效日期，以支持有时间限制的授权策略和临时策略 2.覆盖策略以支持临时资源访问....生态系统覆盖和增强 1.为Atlas通过细粒度授权实现Metadata安全性。
数据本身的安全性已经由公司层面的网络及物理机房的隔离来得到保证。那么数据平台建设过程中，需要考虑哪些安全性方面的问题？...业务域可以和公司组织架构相对应，相关部门默认有相应权限。可以方便的进行权限申请与审批。调研对比各种实现方案之后，我们选择了 ranger +组件 plugin 的权限管理方案。...另外，ranger 支持的查询引擎有限，想要增加查询引擎(如 presto)就需要定制化开发。因此，这种 ranger + plugin 的做法，执行引擎的可扩展性并不好。...三、基于 ranger 的权限管理服务 为了提高用户使用的便利性，我们需要收敛数据平台的入口，下线 hue，所有的数据访问及权限申请与审批都直接可在数据平台上完成。...其中，spark 和 presto 都是使用的 antlr4，所以他们的语法文件直接拿过来用即可。
大数据集群的基本是数据以及用于计算的资源，企业将相应的数据和资源开放给对应的用户使用，防止被窃取、破坏等，这些都涉及到大数据安全。...，cdh 版本中集成）和Apache Ranger(Hortonworks 选用的方案，hdp 发行版中集成)。...不可避免， Kerberos 也有短板： 为了安全性使用临时 ticket，认证信息会失效，用户多的情况下重新认证比较繁琐； Kerberos 只能控制你访问或者拒绝访问一个服务，不能控制到很细的粒度，...Apache Ranger Apache Ranger 是 Hortonworks 公司发布的 Hadoop 安全组件开源组件，经过调研我们发现它的优点非常多： 提供细粒度级的权限控制； 权限模型基于访问策略...权限实现 Apache Ranger 的权限二元组是由允许和拒绝组成，相当于白名单与黑名单。
此授权模型不支持列级安全性或授予用户访问 ACID 表的权限。 除了传统的 POSIX 权限模型之外，HDFS 还提供了 ACL 或访问控制列表，如HDFS 上的 ACL 中所述。...细粒度授权（列级、行级） 使用 GRANT/REVOKE 语句进行权限管理 集中管理图形用户界面 Apache Ranger 安全的 是的 是的 是的 基于存储 安全的 HiveServer 中的 SQL...使用 SBA 权限模型 您必须添加访问 ACL 以允许组或用户在 SBA 管理的空间中创建数据库和表。如果您对基础数据具有文件级访问权限，则您有权查询表。...启用模拟以使用 SBA 作为管理员，如果您不使用推荐的 Ranger 安全性，您只需启用 doAs模拟参数以使用 SBA：在 Cloudera Manager 中，单击Tez上的 Hive >配置，对于...在 SBA 下管理 YARN 队列 作为管理员，如果您不使用推荐的 Ranger 安全性，您只需启用 doAs模拟 ( doas=true) 参数即可使用 SBA。
为了解决 Hive 并不擅长的交互式查询领域，Facebook 开发了 Presto，专门为交互式查询所设计，提供分钟级乃至亚秒级低延时的查询性能。 1.1 Presto 架构 ?...元数据数据质量校验等：元数据系统会使用 Presto 进行数据质量校验。 数据产品：比如 CRM 数据分析，人群画像等会使用 Presto 进行计算。...三、Presto 在有赞的演进之路 第一阶段: Presto 和 Hadoop 混合部署阶段: 起初，Presto 是和 Hadoop 离线集群混合在一起部署的。...5.3 Presto多租户隔离 目前 Presto 官方并没有实现和 Apache Ranger 结合的多租户隔离机制，我们目前有一个 Sql Parser服务，去解析 Presto，Hive，Spark...三种引擎的语法，去做脱敏，审计，智能选择等功能，后面会去做结合 Apache Ranger 通过 sql 重写来实现数据隔离，类似于现在的脱敏实现。
hive standalone metastore 3.1.2可作为独立服务，作为spark、flink、presto等服务的元数据管理中心，然而在现有的hive授权方案中只有针对hiveserver2...的授权，所以本文针对hive standalone metastore独立服务使用ranger对连接到hive metastore的用户进行授权访问，以解决hive standalone metastore...ranger编译指南 准备 centos 7.6 jdk 1.8 maven 3.6.3（建议使用该版本，本人测试验证3.8.x编译是会报错的） 源码下载 wget https://dlcdn.apache.org.../ranger/2.1.0/apache-ranger-2.1.0.tar.gz 源码编译 tar zxvf apache-ranger-2.1.0.tar.gz cd apache-ranger-2.1.0.../ranger-2.1.0-admin.tar.gz和target/ranger-2.1.0-usersync.tar.gz复制到/data/ranger目录下，解压： tar zxvf ranger-
Knox和Ranger是两个重要的Apache开源项目。Knox提供了用于管理安全性的框架，并支持Hadoop集群上的安全性实施。...Ranger项目专注于开发工具和技术，以帮助用户跨Hadoop集群部署和标准化安全性。它提供了一个集中式框架，可用于管理资源级别的策略，例如文件、文件夹、数据库、甚至数据库中的特定行和列。...随后的发行版为HDFS中的文件添加了有限的权限管理功能，但是Hadoop仍未能提供企业级身份验证安全性。...如前所述，Ranger促进了权限的建立和实施。也可以使用其他资源。HDFS权限指南是允许设置包含在HFDS目录和文件权限的管理员的组件。可以在组和个人级别上设置权限。...安全性是Hadoop变化最快的方面之一。功能不断增强和超越。有关最新的安全更新，请与Apache项目或Hadoop发行商联系。
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。...Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。...Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。...Ambari能够安装安全的（基于Kerberos）Hadoop集群，以此实现了对Hadoop 安全的支持，提供了基于角色的用户认证、授权和审计功能，并为用户管理集成了LDAP和Active Directory...RANGER SLIDER SPARK2 stack_advisor.py stack_advisor.pyo SUPERSET YARN ZOOKEEPER [root@prod-hadoop-master
在企业级应用中，数据的安全性和隐私保护是极其重要的。Spark 作为数栈底层计算引擎之一，必须确保数据只能被授权的人员访问，避免出现数据泄露和滥用的情况。...为了实现Spark SQL 对数据的精细化管理及提高数据的安全性和可控性，数栈基于 Apache Ranger 实现了 Spark SQL 对数据处理的权限控制。...本文基于 Apahce Spark 2.4.8 和 Apache Ranger 2.2 进行原理讲解，和大家聊聊「袋鼠云一站式大数据基础软件数栈」基于 Ranger 在 Spark SQL 权限控制上的实践探索之路...基于Ranger实现Spark SQL权限控制 Apache Ranger 是一个开源的权限管理框架，可以提供对 Hadoop 生态系统的安全访问控制。...Hive 保持一致，所以在 Spark SQL 基于 Ranger 实现权限控制插件时没有重复造轮子而是直接复用 HADOOP SQL 服务模块，和 Hive 共同使用同一套策略，所以我们只需要在 Spark
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
云直播
对象存储
