大数据的通俗定义为用现有的一般技术难以管理的大量数据的集合，广义定义为一个综合性概念，它包括因具备4V(海量/多样/快速/价值，Volume/Variety/Velocity/Value)特征而难以进行管理的数据...1、大数据分析在企业安全管理平台上的应用 目前应用于大数据分析的主流技术架构是Hadoop，业界在进行大数据分析时越来越重视它的作用。...基于前面介绍过的传统企业安全管理平台面对的挑战和局限性问题，可以把Hadoop技术应用在企业安全管理平台中，发展成为新一代的企业安全管理平台，实现支持超大数据量的采集、融合、存储、检索、分析、态势感知和可视化功能...3、大数据安全分析 大数据安全分析，顾名思义，就是指利用大数据技术来进行安全分析。...在网络安全领域，大数据安全分析是企业安全管理平台安全事件分析的核心技术，而大数据安全分析对安全数据处理效果主要依赖于分析方法。
前言 此前写过一篇文章关于数据资产管理的一些实践方法，对于对数据安全来说其实也是对资产的识别，监控，保护，运营的循环过程。我们要清楚保护对象是什么，他有什么风险或者问题，然后如何保护，再持续提升。...安全日志审计系统架构示意图 日志采集，分析处理，告警存储，以及告警展示，规则管理等全自研架构图如下： ?...详细介绍请参考：《数据安全实践之数据资产管理》 2.通用日志审计规则 仅举例一些通用规则，安全规则应随公司业务场景，泄露情况进行调整，也就是需要投入大量运营工作，不断场景化，细化的过程。...，需要配合其他技术和管理手段： 签署数据安全和保密协议，建议和法务一起制定，明确违规行为，罚则等 限制访问权限，强认证机制，数据最小化原则。...，使其逐步演进为一个安全基础监控平台和安全大数据平台。
BR-odp作为一款专业的大数据平台，面向用户提供了完善的数据导入方案以及多种经典的分布式应用模式，能够更快速的响应和匹配用户需求，解决用户海量数据计算和存储问题，有效降低企业成本，并保障企业数据安全。...大数据平台搭建方案之BR-odp大数据安全模块 （1） 提供身份验证、授权和数据保护这3大安全策略，安全性以多个层次加入和集成到 BR-ODP中。...（2） 提供用于身份验证、授权、可归责性以及数据保护的关键功能，让您能够满足这些安全要求，确保 BR-ODP 安全。...大数据平台搭建方案之BR-ODP管理模块 BR-ODP管理模块在BR-ODP生态圈里起着重要的作用。...Ambari、Zookeeper、Oozie作为大数据平台搭建的利器，扮演着重要的角色，发挥着重要作用。
前言 在企业安全建设中，资产管理是很多安全工作的基础。而数据资产管理可以帮助我们更准确的发现安全风险，执行更有效的控制措施，在数据安全体系化建设中也有着举足轻重的作用。 数据安全视角的数据资产 ?...整体架构与价值 数据资产管理主要分为三部分：数据采集，数据整合与识别，数据使用 ?...数据调取，访问的权限管控，根据数据目录，数据负责人，建立管控流程 识别重要数据系统，接口，推进安全防护项目，包括数据加密，脱敏，认证，日志等改造 数据泄露事件的告警，溯源，审计，提供基础数据和综合分析平台...）DBA或者运维申请数据库查询权限，如DBA有管理平台或相关数据，也可以直接对接收集数据 （3）获取数据结构和数据类型 获取库名： $SQL = 'show databases'; 获取表明： SELECT...2.数据所属应用，应用数据接口 应用一般从CMDB或公司的资产管理平台中获取，注意的是需要有一个唯一标识将应用和数据库进行关联。
数据资产管理服务工作，涵盖企业IT系统生命周期的不同阶段，协助企业建立适合自身特点的数据资产管理制度，提升企业对自身数据资产管理的能力，为后续数据挖掘变现提供可靠、有价值和高质量的数据，提供更好的产品和服务...数据资产管理平台实现数据资产的可视化、自动化和智能化运营，让数据资产管理团队从众多纷繁复杂的数据管理工作中解放出来，降低整体人员投入和成本投入。...围绕数据合作或交易等流通活动，从技术层面来说需要建立相应的流通平台机制，该流通平台需要具备完善的保障机制，如服务保障、管理保障、技术保障等。...作者： 尹正军 中国联通，大数据基础平台负责人高级架构师超过10年的软件研发项目经验 ，擅长分布式系统技术栈 。...目前主要负责大数据资产管理平台、 大规模Hadoop集群治理 、DevOps智能运维平台等产品研发 、商业化项目咨询交付工作 。
国标视频云服务EasyGBS支持设备/平台通过国标GB28181协议注册接入，并能实现视频的实时监控直播、录像、检索与回看、语音对讲、云存储、告警、平台级联等功能。...平台部署简单、可拓展性强，支持将接入的视频流进行全终端、全平台分发，分发的视频流包括RTSP、RTMP、FLV、HLS、WebRTC等格式。...有用户提出需求，在Linux服务环境中，登录EasyGBS会报安全漏洞的错误，希望我们能对此细节进行优化。...在原先的EasyGBS项目中，登录使用了Get请求，虽然进行了加密处理但存在安全隐患，现在需要将原先的Get请求更换成Post请求，将密码加盐处理，并增加登录验证。...登录验证的功能有利于增强平台的安全性，可以有效防范不法分子对网络进行攻击等行为，保障平台的视频等数据资源隐私性与安全性。
背景和范围 当前大数据团队没有一个统一的操作权限控制和管理平台，对于分析师在服务器上的权限，目前都是给予对应分析节点的EC2机器账号，且为了方便操作和管理都是给予的管理员权限，因此安全性风险较大；对于数据开发者...，主要通过分配IAM控制AWS的操作权限；对于team的所有人都是通过分配aws的ak,sk在本地进行操作赋权；随着数据平台的不断的丰富和完善，需要在各组件之上做认证，鉴权和审计等管理，数据权限管理平台主要是为了统一所有人的操作权限而设计...api方式传入hadoop用户，执行hadoop相应命令，则会绕过所有权限检查 不支持spark sql访问hive表权限校验，只能控制到目录文件级别 无法精细粒度控制表权限，如对特殊表的下载权限 综上，数据平台团队准备自研数据权限管理系统...目标 采用公共模块或者公共配置文件去做用户权限管理，对服务器的账号权限及开源组件的自带账号权限服务解耦 每个组使用不同的账号进行查询集群的数据（表和文件），所有人都通过公司内部统一账号平台office365...，在授权的过程中，把用户的email,name信息同步到数据侧RDS，并保存权限关系到数据侧的RDS中，保存成功后，直接刷新数据侧的鉴权API使用的内存缓存 其他平台：如数据集成，数据调度，执行引擎，
概念解释 1，大数据平台——是指服务于大数据计算或存储的平台，包括大数据的计算集群(hive、spark、flink、storm等等)和存储集群(如hadoop、hbase等等)。...2，大数据平台涉及的元数据——由大数据作业的业务逻辑直接读写处理的业务数据，都不是元数据，除此之外的数据都是元数据。...为什么要做元数据管理 1，管理元数据的好处——有助于用户更高效地分析数据，有助于系统和业务的优化，有助于数据的安全管控，有助于数据生命周期的管理，有助于任务问题的排查，有助于数据质量的保证。...2，怎样发挥元数据的价值——元数据信息通过服务的形式(例如REST接口)提供给上下游系统使用。 哪些数据纳入元数据管理 这个问题也就是元数据管理到底是管理什么。...对大数据开发平台来说，常见的元数据包括以下6点： 1，数据表的结构schema信息 （1） SQL或者NoSQL中的表视图信息，例如MySQL中可以通过SHOW CREATE TABLE table_name
前言 自从2018年大数据平台升级，Hadoop/Kafka从此被Kerberos立体环绕，虽然知道kinit/kdestory/klist命令，但是每次执行都感觉云里雾绕，尤其是对接租户的时候，多次陷入尴尬的境地...于是决定去靠自己理解一下Kerberos，脱离这种没有安全感的日子。 什么是kerberos？...在大数据平台的应用中，可以给不同的资源添加不同的权限，例如HDFS的访问、kakfa的topic读写，必须带有对应权限的principal和对应的"密码"去访问。...Kerberos名词 Realm认证管理域，通常是服务端和客户端在一个域内才能进行认证。
数据安全管理 在数据中台中所说的数据安全管理，侧重于企业内部的数据安全管理，是狭义的数据安全管理，重点放在大数据平台的安全管理技术手段上。...在数据中台中数据安全可以借助一些技术手段实现。...1、统一的安全认证和权限管理 在大数据中有很多安全管理技术，例如：Kerberos、Ranger、Hive、ClickHouse也都有自带的数据权限管理，在数据汇集、数据开发、数据体系中我们可以借助这些技术实现数据安全管理...2、数据资源隔离 对于业务方数据使用，我们也可以自己实现数据授权平台决定哪些部门、哪些人有权访问敏感数据，对不同权限的数据资源进行隔离。...4、数据脱敏 在数据传输、共享、展示时为了防止用户隐私数据、商业机密等信息泄漏，可以对数据使用大数据主键或者自建平台对数据进行脱敏处理。
一、概述 在大数据平台建设初期，安全也许并不是被重点关注的一环。大数据平台的定位主要是服务数据开发人员，提高数据开发效率，提供便捷的开发流程，有效支持数仓建设。大数据平台的用户都是公司内部人员。...数据本身的安全性已经由公司层面的网络及物理机房的隔离来得到保证。那么数据平台建设过程中，需要考虑哪些安全性方面的问题？...最后，大数据平台的目标是赋能数据开发人员，提高数据开发效率，而安全管理必然会降低数据平台的便利性。如何平衡安全和便利性的关系，尤为重要。...有赞大数据平台安全建设是在大数据平台本身的发展以及数仓元数据建设的过程中不断演进的。概括起来可以分为三个阶段。...五、未来展望 大数据平台的安全建设并不是一项孤立的工作，而是随着大数据平台支持的业务量和业务种类越来越多，与大数据平台本身的进化而一起发展的。
安全平台
这个可扩展的元数据平台专为开发人员构建，以应对快速发展的数据生态系统的复杂性，并帮助数据从业者充分利用组织内数据的总价值。 以下是 DataHub 当前功能的概述。...搜索和发现 搜索数据堆栈 DataHub 的统一搜索体验可跨数据库、数据湖、BI 平台、ML 特征存储、编排工具等显示结果 追踪端到端血缘 通过跟踪跨平台、数据集、ETL/ELT 管道、图表...管理实体所有权 快速轻松地将实体所有权分配给用户和用户组。 使用标签、术语表和域 使数据所有者能够通过以下方式管理其数据实体： 1.标签：非正式的、松散控制的标签，用作搜索和发现的工具。...DataHub管理 创建用户、组和访问策略 DataHub 管理员可以创建策略来定义谁可以针对哪些资源执行什么操作。...创建新策略时，您将能够定义以下内容： ·策略类型- 平台（顶级 DataHub 平台权限，即管理用户、组和策略）或元数据（操作所有权、标签、文档等的能力） ·资源类型- 指定资源类型，例如数据集、仪表板
近年来，数据安全正在快速成为当今信息化时代一个备受关注的话题。在数字化快速发展的今天，各个领域都离不开数据的支撑，而数据安全问题也随之成为了一项重要的任务。...基于此，EasyMR 可以实现一键部署安全管控服务，一键开启大数据集群组件的安全认证、用户管理以及权限管控服务。 本文就为大家展开介绍一下 EasyMR 具体是如何管理 Hadoop 数据安全的。...• LdapServer 能够解决多层次、多类型系统、数据库的安全访问难题，所有与账号相关的管理策略均配置在服务端，实现了账号的集中维护和管理。...• LdapServer 能够充分继承和利用平台组织中现有的账户管理系统的身份认证功能，并实现了账户管理与访问控制管理的分离，提高了大数据平台访问认证的安全性。...EasyMR 在部署完 LdapServer 后，平台管理里面将会自动关联 LdapServer 的连接信息，用户只需选中对应的 LdapServer 连接，在对应的用户下点击下载票据即可。
Ranger管理HDFS安全我们还可以使用Ranger对HDFS进行目录权限访问控制。这里需要添加“HDFS-Plugin”插件。...-- 以下两项是关于Ranger安全检查配置 -->dfs.namenode.inode.attributes.provider.classorg.apache.ranger.authorization.hadoop.RangerHdfsAuthorizer.../data.txt /rangertest3）测试用户“user1”读取“rangertest”数据和上传文件在node1中切换用户user1，读取HDFS中的数据，有只读权限[root@node1 ~...]# su user1[user1@node1 root]$ hdfs dfs -cat /rangertest/data.txt#使用user1用户上传数据文件到HDFS“/rangertest/”下...，权限通过，通过Ranger已经可以对HDFS进行权限管理。
Ranger管理Hive安全 一、配置HiveServer2 访问Hive有两种方式：HiveServer2和Hive Client，Hive Client需要Hive和Hadoop的jar包，配置环境...:10000> show tables; [1305ccf6f317080d714dea4ca74b6bfd.png] 二、安装Ranger-hive-plugin 我们可以使用Ranger对Hive数据安全进行管理...，这里需要安装Hive插件“ranger-2.1.0-hive-plugin”，此插件只能对jdbc方式连接Hive的请求进行权限管理，不能对hive-cli客户端方式进行权限管理（一般安装Hive的节点才能使用...如果想要对连接Hive的用户进行表、列权限管理，需要在Ranger中添加对应的Hive服务，才可以使用Ranger通过这个服务配置每个用户对Hive库、表、列权限管理。...四、Ranger对Hive用户进行权限管理 查看Ranger中配置好的Hive权限管理服务： [b622be5b3ee859daee624a7ae09e558f.png] 修改上图中只有root用户对所以库
数据安全管理Ranger初步认识 在大数据平台中，有海量数据存储，通畅在采集数据过程中敏感数据有意或者无意的进入大数据平台中，数据安全管理非常重要。...我们不希望一些敏感数据被他人访问，希望可以按照一种规则给部分人访问权限，以防止数据泄露，针对数据安全管理可以使用Apache Ranger实现。...一、Ranger介绍 Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。...我们可以通过Ranger提供的UI界面或者Rest API来管理所有与安全性相关的任务，可以使用管理工具来对Hadoop体系中的组件进行授权。...Ranger官网：Apache Ranger – Introduction 二、Ranger架构 Ranger架构如下： Ranger-admin: Ranger实现安全管理的核心就是Ranger-admin
宜信结合自己的实际情况，同样实现了一套集采集、分析和存储为一体的安全数据平台——流沙平台。...3.3 服务集中管理 为了能够让这套平台落地，需要到大量的服务器，不同服务器上各自运行不同的程序，因此需要一套集中化的管理手段，为此，流沙平台使用了以下两个工具： gosuv：gosuv是一个go写的分布式的...supervisor框架，可以通过web页面远程管理服务器上的程序。...consul：consul则是一个分布式的微服务框架，实现了服务注册、服务发现以及统一配置管理等功能。 gosuv + consul的方式可以很方便的实现程序的集中管理，和程序状态监控。...通过流沙平台，安全工作人员可以将大部分精力专注于数据分析上，弥补了商业安全产品的不足，更好的帮助安全防护同学全面的了解企业的安全状态。流沙平台不仅仅是一个数据平台，更是宜信现有安全措施的重要补充。
- END -
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
