展开

关键词

敏感数据,实现“一键脱敏”!

痛点二 对于一些为了快速上线而一开始没有实现合规脱敏的系统,如何比较快速的使得已有业务满足合规要求的同时,尽量减少对原系统的改造。 脱敏配置Quick Start——Spring版 以下介绍基于Spring如何快速让系统支持脱敏配置。 1. 引入依赖 <! 创建脱敏配置规则对象 在创建数据源之前,需要准备一个EncryptRuleConfiguration进行脱敏的配置,以下是一个例子,对于同一个数据源里两张表card_info,pay_order的不同字段进行 :{} ", encryptRuleConfig); return encryptRuleConfig; } 说明: 创建 EncryptColumnRuleConfiguration 的时候有四个参数 创建EncryptTableRuleConfiguration 的时候需要传入一个map,这个map存的value即#1中说明的EncryptColumnRuleConfiguration ,而其key

40920

敏感数据,“一键脱敏”,Sharding Sphere 完美搞定

此方法固然可行,但是使用起来非常不便捷且繁琐,使得日常的业务开发与存储合规的细节紧耦合 注 意 文末有:3625页互联网大厂面试题 痛点二 对于一些为了快速上线而一开始没有实现合规脱敏的系统,如何比较快速的使得已有业务满足合规要求的同时 脱敏配置Quick Start——Spring 显示配置: 以下介绍基于Spring如何快速让系统支持脱敏配置。 1、引入依赖 <! sharding-jdbc-spring-namespace</artifactId> <version>${sharding-sphere.version}</version> </dependency> 2、创建脱敏配置规则对象 在创建数据源之前,需要准备一个EncryptRuleConfiguration进行脱敏的配置,以下是一个例子,对于同一个数据源里两张表card_info,pay_order的不同字段进行AES的加密 2、 创建EncryptTableRuleConfiguration 的时候需要传入一个map,这个map存的value即#1中说明的EncryptColumnRuleConfiguration ,而其

39740
  • 广告
    关闭

    腾讯云图限时特惠0.99元起

    腾讯云图是一站式数据可视化展示平台,旨在帮助用户快速通过可视化图表展示大量数据,低门槛快速打造出专业大屏数据展示。新用户0.99元起,轻松搞定数据可视化

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    聊聊如何自定义数据脱敏

    前言 什么是数据脱敏 数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护 常用脱敏规则 替换、重排、加密、截断、掩码 良好的数据脱敏实施 1、尽可能地为脱敏后的应用,保留脱敏前的有意义信息 2、最大程度地防止黑客进行破解 今天我们聊聊如何自定义数据脱敏 整体思路 本示例通过替换的手段实现脱敏,然后配合常用的框架特性,比如mybatis的拦截器机制或者json的序列化来快速实现脱敏 具体落地 1、定义一个脱敏工具类 可以直接引用hutool工具包,不过它在5.6+版本以上才提供了这个工具 https://www.hutool.cn/docs/#/core/工具类/信息脱敏工具-DesensitizedUtil ;可以脱敏:用户id、中文名、身份证号、座机号、手机号、地址、电子邮件、密码 * @return 脱敏之后的字符串 * @author dazer and neusoft and qiaomu / 2、自定义注解格式化 主要实现步骤如下 1、实现AnnotationFormatterFactory接口 2、创建脱敏格式化类实现Formatter 3、将AnnotationFormatterFactory

    18820

    【金猿案例展】某农商行:数据脱敏系统经典实践

    2)创建文件源自动添加文件 创建默认文件源,并根据FTP文件列表自动添加要脱敏的数据文件。 ? 3)自动敏感数据发现任务 创建文件源的敏感数据发现任务,自动执行敏感数据发现任务,并进行敏感数据的自动梳理和确定。 4)自动创建文件脱敏任务 自动创建文件脱敏方案,根据文件源和敏感数据梳理结果进行脱敏方案的自动配置;自动创建文件脱敏任务,将脱敏方案关联到脱敏任务,并进行脱敏任务的自动执行。 8)敏感数据字典管理 以敏感数据为中心,对数据库字段进行分类管理;对同库多表、多库多表的同类敏感数据实施统一的脱敏算法和策略,保证同一组织内跨系统、跨库之间的脱敏一致性;并支持敏感数据字典导入、导出等功能 ,如果未下发或解压完成将重新读取下发文件; ●自动创建敏感数据发现任务,并进行敏感数据的自动发现,执行发现任务后根据敏感数据梳理模板对敏感数据进行自动梳理,生成梳理后的敏感字段列表; ●判断是否有敏感数据

    30910

    数据治理之数据脱敏技术研究

    欧盟在2018年出台《通用数据保护条例》(GDPR),规定了企业如何收集、使用和处理欧盟公民的个人数据。 从个人理解来说,数据脱敏就是为原始数据创建结构类似但不真实的数据的方法,以便将数据在开发、测试、培训、分析等非生产环境下的使用。 4)防数据推理原则 数据脱敏不需要将所有的数据进行脱敏处理,只处理被定义为敏感数据内容。 但需要注意的是有些非敏感数据能够被用来重新生成敏感数据或者能够回溯到敏感数据,这些非敏感数据同样需要进行脱敏处理。 5) 自动化原则 针对一个数据源只需要配置一次,就可以重复进行脱敏处理。 问2:如A经B到C,C经D到E,而给我们的关系脱敏后表现为A..B...D..E。类似的这类脱敏如何实现。 答:单独的客户信息,还是有需要进行脱敏处理的。

    1.5K20

    如何使用Sentry实现HiveImpala的数据脱敏

    Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 本文主要描述如何使用Sentry实现数据的脱敏 本文Fayson会以一个简单的实操例子来介绍如何使用Sentry实现Hive/Impala的数据脱敏。 当然Group A也被授权可以访问视图employees_masked,比如他想将数据下发时做敏感数据脱敏,则也可以从这个视图里取出数据。 regexp_replace()函数通过正则表达式的方式敏感数据屏蔽,也可以通过自定义的UDF函数来等方式来实现敏感数据脱敏。 通过脱敏SQL创建视图,使用Sentry权限控制将脱敏数据的视图提供给不同的用户访问 授权访问视图(即使授权ALL)的用户也无权限访问相应表的底层数据文件。

    2K60

    为何说敏感数据处理是数据安全防护线?如何处理敏感数据

    敏感数据就是指不宜轻易泄露和外流的数据,一旦敏感数据泄露,就会对公司经营带来风险,常见的敏感数据包括身份证号、银行卡号以及公司经营情况、IP地址列表等数据,为什么说敏感数据处理是数据安全防护线? 怎样处理敏感数据? 为何说敏感数据处理是数据安全防护线? 1、敏感数据处理能保护客户隐私。 之所以说敏感数据处理是数据安全防护线,是因为公司的一些数据属于商业机密,包括产品配料表、产品成本价以及销售计划书等,这些数据都属于商业机密,要妥善保护,要采用科学方式处理。 如何处理敏感数据? 处理敏感数据的方法包括动态脱敏和静态脱敏技术,动态脱敏就是抽取敏感数据,对这些数据进行漂白,它能够对敏感数据进行有效遮盖、屏蔽以及变形处理,从而保证敏感数据不泄露,静态脱敏技术的应用时间早,具有技术成熟的特点 为何说敏感数据处理是数据安全防护线?上文内容就是对该问题的解答,处理敏感数据的意义不可忽视,能够起到保护客户隐私和维护公司利益的作用,要采用专用技术和先进方案处理敏感数据

    15310

    数据库动态脱敏

    产品简介 中安威士数据库动态脱敏系统(简称VS-DM),通过截获并修改数据库通讯内容,对数据库中的敏感数据进行在线的屏蔽、变形、字符替换、随机替换等处理,达到对用户访问敏感数据真实内容的权限控制。 对存储于数据库中的敏感数据,通过脱敏系统,不同权限的用户将会得到不同结果展现。系统支持旁路代理和直路代理两种部署方式,具有性能卓越、配置灵活、使用简单、运行稳定等优势。 产品功能 · 实时动态脱敏 对需要共享的生产数据或时效性要求很高的数据测试和培训场景,提供基于网关代理模式的动态脱敏技术,达到实时模糊敏感数据的效果。 动态脱敏可对业务系统数据库中敏感数据进行透明、实时脱敏。 ² 动态脱敏可以依据数据库用户名、IP、客户端工具类型、访问时间等多重身份特征进行访问控制。 · 数据替换:以虚构数据代替真值 · 截断、加密、隐藏或使之无效:以“无效”或 *、#代替真值 · 随机化:以随机数据代替真值 · 偏移:通过随机移位改变数字数据 · 字符子链屏蔽:为特定数据创建定制屏蔽

    1K60

    RSA 创新沙盒盘点| Satori —合规、快速、高效的隐私保护解决方案

    Satori可以实时查看使用数据的用户,正在访问哪些数据,以及如何使用数据。 Satori能够自动识别敏感数据(例如:PII,个人医疗信息(PHI),支付卡行业信息(PCI)),并通过脱敏技术对敏感数据进行脱敏,使得敏感数据可以进行安全合规的数据分析。 通过脱敏配置文件实现敏感数据屏蔽;如(PII、PHI等)。 通过脱敏文件配置,不同的数据类型选择不同的的脱敏方式。 点评:Satori公司的产品提供了丰富的脱敏方法,并支持灵活的配置是其亮点之一。然而,Satori公司声称脱敏后的敏感数据可以合规使用和分析。 3基于机器学习的自动数据分类 Satori内置数据分类,其数据分类是通过利用基于机器学习的方法对数据进行自动分类,并且通过同态方法创建数据列表和通用目录的映射。

    28260

    企业如何管控敏感数据 | 研报×To B

    企业敏感数据不单单驻留在数据库中 ? 企业敏感数据主要驻留在数据库及文件系统中,但除此外,近 1/3 企业的敏感数据驻留在公有云及大数据平台中,甚至一小部分企业的敏感数据驻留在应用中。 企业敏感数据驻留在如此众多的位置,面临着更大的敏感数据泄露风险,企业在如此复杂的环境下究竟如何管控敏感数据? ---- 企业管控敏感数据以策略管理为主 加密技术为辅 ? 根据国际著名研究公司 Forrester 2012 年的研究报告显示,绝大多数的企业敏感数据泄露事件往往是由于企业内部事件产生的, 企业通过管理用户一方面可以界定敏感数据的管理责任人,另一方面可以阻止非责任人的访问 ,从而将敏感数据的传播途径控制在可控范围内。 另一方面又期望加密技术不影响敏感数据访问的实效性。而网络加密技术对于敏感数据访问的实效性影响较大,因此,其更重视数据加密技术的使用。

    65660

    大数据隐私保护技术之脱敏技术探究

    介绍 随着大数据时代的到来,大数据中蕴藏的巨大价值得以挖掘,同时也带来了隐私信息保护方面的难题,即如何在实现大数据高效共享的同时,保护敏感信息不被泄露。 数据安全是信息安全的重要一环。 数据脱敏就是对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。 在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用,如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。 首先遇到的问题就是如何识别敏感数据敏感数据的定义是什么?有哪些依赖?应用程序是十分复杂并且完整的。知道敏感信息在哪并且知道哪些数据参考了这些敏感数据是非常困难的。 选定了敏感数据和要施加的算法,剩下的就是如何实现了,在什么过程中进行脱敏呢? 难题的解决方案 1.如何识别敏感数据 现在有两种方式来识别敏感数据

    2.1K100

    安全研究 | 如何查看GitLab中的共享敏感数据

    关于GitLab Watchman GitLab Watchman这款应用程序可以帮助广大研究人员使用GitLab API来审查GitLab内部暴露的敏感数据和凭据。

    18920

    手把手教你如何设计日志脱敏插件

    1.背景 我所在的公司最近要求需要在所有地方都要脱敏敏感数据,应该是受faceBook数据泄密影响吧。 说到脱敏一般来说在数据输出的地方需要脱敏而我们数据落地输出的地方一般是有三个地方: 接口返回值脱敏 日志脱敏 数据库脱敏 这里主要说一下如何进行日志脱敏,对于代码中来说日志打印敏感数据有两种: 敏感数据在方法参数中 在编译时期修改抽象语法树修改toString()方法,就像类似Lombok一样,这个之前调研过,开发难度较大,可能后会更新如何去写。 3.2 MessageFactory配置(二选一) 创建文件:log4j2.component.properties 输入:log4j2.messageFactory=log.message.DesensitizedMessageFactory 4.性能基准测试: 基准测试聚焦打印日志效率如何

    2.3K81

    数栈技术分享:数栈如何保障企业数据安全和隐私?

    二、数栈如何保证数据安全 数栈通过两种方式对数据进行权限管理:数据权限审批流和数据脱敏。 2、数据脱敏 「数栈」的数据脱敏管理模块,可以实现用户对脱敏的数据进行各类查询和操作,但不能查看、导出敏感数据的具体内容,实现“可操作,但不可见”的效果。 为了全方面保障数据安全,「数栈-数据地图」支持对数据血缘的实时解析,当用户对敏感数据插入其他表,或进行加工处理后,新的数据依然会保持脱敏状态,防止敏感数据外泄。 实际上产品的数据脱敏管理模块,可以实现用户对脱敏的数据进行各类查询和操作,但不能查看、导出敏感数据的具体内容,实现“可操作,但不可见”的效果。 为了全方面的保障数据安全,「数栈-数据地图」支持对数据血缘的实时解析,当用户对敏感数据插入其他表,或进行加工处理后,新的数据依然会保持脱敏状态,防止敏感数据外泄。

    16000

    动态脱敏典型应用场景分析——业务脱敏、运维脱敏、数据交换脱敏

    动态脱敏常用在访问敏感数据即时进行脱敏,一般用来解决在生产环境需要根据不同情况对同一敏感数据读取时进行不同级别脱敏的场景,如业务脱敏、运维脱敏、数据交换脱敏等场景。 业务脱敏 场景特点 ❏ 业务用户访问应用系统时,需明确用户身份的真实性。 ❏ 不同权限业务用户访问敏感数据时需采取不同级别的脱敏规则。 ❖ 特权账号访问控制,禁止DBA、SYSDBA、Schema User、Any等特权用户访问和操作敏感数据集合。 ❖ 对未授权的运维身份访问敏感数据实现动态脱敏功能。 美创数据脱敏系统内置敏感数据发现引擎,对源数据中的敏感数据按照脱敏规则,进行变形、漂泊、遮盖,保证脱敏后的数据保持数据的一致性和业务的关联性,应用于开发测试环境、数据交换、数据分析、数据共享等场景。 美创数据脱敏产品,帮您实现敏感数据可靠保护!

    56230

    安华金和技术副总裁杨海峰:金融行业数据实时共享场景下的动态脱敏技术

    但当面对不同身份的访问者,如何实时提供不同的脱敏数据? 数据动态脱敏,需要满足一个重要的能力:针对目前各种主流的数据库中的敏感数据,在用户使用各种第三方客户端工具或应用程序实时访问数据过程中,能够依据用户角色、职责和其他 IT 定义规则,对敏感数据进行屏蔽、 遮盖、变形处理,来“隐藏”对敏感数据的访问,从而有效的防止敏感数据的泄漏。 技术应对:通过语法分析,正确的识别a.ABC字段为需要脱敏的字段,b.abc字段不能进行脱敏。 Trap4:执行begin...end语句块,语句块中包含动态SQL语句,如何处理? 如果选择脱敏处理,好处是不会造成通过精确查询进行数据的“猜测”引起的数据泄露;缺点是恐怕很难再通过脱敏字段作为条件进行查询,因为说不清查询的结果会如何,很大可能是查不到结果。

    63460

    静态脱敏典型应用场景分析——开发测试、数据共享、科学研究

    在数据流动、共享、交换成为趋势的今天,数据脱敏已经成为实现敏感数据保护的重要手段之一。数据脱敏产品也逐步被金融、政府、企业等行业客户广泛使用。 当前数据脱敏产品主要包括静态脱敏、动态脱敏产品两类。 ❖ 对于脱敏源中存在的脏数据(不符合敏感对象业务特征的数据),系统同样会对这部分数据进行变形处理,以避免隐形敏感数据泄露。 ❏ 大数据分析平台中包括海量的用户隐私和敏感数据,针对大数据环境进行数据脱敏,数据结构复杂,包括结构化、非结构化数据等,脱敏操作复杂。 美创数据脱敏系统内置敏感数据发现引擎,对源数据中的敏感数据按照脱敏规则,进行变形、漂泊、遮盖,保证脱敏后的数据保持数据的一致性和业务的关联性,应用于开发测试环境、数据交换、数据分析、数据共享等场景。 美创数据脱敏产品,帮您实现敏感数据可靠保护!

    46540

    大厂也在用的 6种 数据脱敏方案,严防泄露数据的 “内鬼”

    数据脱敏也叫数据的去隐私化,在我们给定脱敏规则和策略的情况下,对敏感数据比如 手机号、银行卡号 等信息,进行转换或者修改的一种技术手段,防止敏感数据直接在不可靠的环境下使用。 有时我们可能需要将生产环境的数据 copy 到测试、开发库中,以此来排查问题或进行数据分析,但出于安全考虑又不能将敏感数据存储于非生产环境,此时就要把敏感数据从生产环境脱敏完毕之后再在非生产环境使用。 动态数据脱敏 动态数据脱敏(DDM):一般用在生产环境,访问敏感数据时实时进行脱敏,因为有时在不同情况下对于同一敏感数据的读取,需要做不同级别的脱敏处理,例如:不同角色、不同权限所执行的脱敏方案会不同。 [原始数据] 1、无效化 无效化方案在处理待脱敏的数据时,通过对字段数据值进行 截断、加密、隐藏 等方式让敏感数据脱敏,使其不再具有利用价值。 [数据替换] 4、对称加密 对称加密是一种特殊的可逆脱敏方法,通过加密密钥和算法对敏感数据进行加密,密文格式与原始数据在逻辑规则上一致,通过密钥解密可以恢复原始数据,要注意的就是密钥的安全性。

    27430

    大厂也在用的 6种 数据脱敏方案,别做泄密内鬼

    数据脱敏也叫数据的去隐私化,在我们给定脱敏规则和策略的情况下,对敏感数据比如 手机号、银行卡号 等信息,进行转换或者修改的一种技术手段,防止敏感数据直接在不可靠的环境下使用。 有时我们可能需要将生产环境的数据 copy 到测试、开发库中,以此来排查问题或进行数据分析,但出于安全考虑又不能将敏感数据存储于非生产环境,此时就要把敏感数据从生产环境脱敏完毕之后再在非生产环境使用。 动态数据脱敏 动态数据脱敏(DDM):一般用在生产环境,访问敏感数据时实时进行脱敏,因为有时在不同情况下对于同一敏感数据的读取,需要做不同级别的脱敏处理,例如:不同角色、不同权限所执行的脱敏方案会不同。 原始数据 1、无效化 无效化方案在处理待脱敏的数据时,通过对字段数据值进行 截断、加密、隐藏 等方式让敏感数据脱敏,使其不再具有利用价值。 数据替换 4、对称加密 对称加密是一种特殊的可逆脱敏方法,通过加密密钥和算法对敏感数据进行加密,密文格式与原始数据在逻辑规则上一致,通过密钥解密可以恢复原始数据,要注意的就是密钥的安全性。 ?

    46110

    浅谈有赞大数据安全体系

    首先将数据的备份和数据的生命周期结合在一起,在数据创建的时候需要指明数据的生命周期,并且推进存量数据的生命周期设置。 首先我们在源头创建mysql表时需要额外选择字段的类别等级,rds(管理 Mysql 的工具平台)提供这样的标记功能。 ? 银行卡号 4.2.2 敏感数据识别优化 敏感数据识别程序作为个人隐私保护的重要技术保障,如何快速以及准确的定位到敏感数据是急需解决的问题。 4.3 数据脱敏 4.3.1 敏感数据识别 经过上述的步骤我们已经采集到每个表的抽样数据,接下来要做的是对采样数据进行特征识别,匹配是否为八种敏感数据类型。 4.3.2 数据脱敏 对于敏感数据的识别结果,我们采用的是依赖ranger的mask功能进行不同等级的脱敏

    26430

    相关产品

    • 数据脱敏

      数据脱敏

      数据脱敏(Data Masking,DMask)是一款敏感数据脱敏与水印标记工具,可对数据系统中的敏感信息进行脱敏处理并在泄漏时提供追溯依据,为企业数据共享、迁移、分发提供安全保护措施。

    相关资讯

    热门标签

    扫码关注云+社区

    领取腾讯云代金券