首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

python实现数据脱敏

背景上一篇文章讲到了《一个注解,实现数据脱敏》,其实用起来还是相当的方便。那shigen是一个喜欢倒腾的人,对于python的接口,如何实现数据脱敏呢?...我找了很久的教程,发现关于这部分的资料并不多,而且大部分的都是手写脱敏算法的。最终我也妥协了,我使用的是正则表达式实现数据脱敏。...本文中,将使用flask+faker实现一个接口,再用正则表达式加工一下,它返回脱敏后的随机数据。...代码实现定义一个通用的正则表达式匹配工具实现的是将符合规则的数据变成脱敏之后的数据图片不得不说,还是很考验正则表达式的功底的,但是shigen的这个还是可以做到通用的,建议拿来就用。...faker模拟生成数据图片这里就是用faker生成模拟的数据,然后传入对应的方法中进行进一步的匹配处理,最后包装成一个json的数据返回给前端尝试调用一下,每次返回的数据是不一样的,数据脱敏需求也是如期的实现

39530

学一招,利用MySQL函数实现数据脱敏

前言 一 什么是数据脱敏? 二 姓名脱敏小案例 2.1 定长脱敏 2.2 非定长脱敏 三 函数释义 前言 大家好,我是麦洛,前几天项目中用到了姓名脱敏,要保留头和尾,中间填充不定数量的'*'。...因为不熟悉相关函数,破费周折,今天总结一下,感觉有用的可以收藏一下就好 一 什么是数据脱敏?...数据脱敏(Data Masking),顾名思义,是屏蔽敏感数据,对某些敏感信息(比如,身份证号、手机号、卡号、客户姓名、客户地址、邮箱地址、薪资等等 )通过脱敏规则进行数据的变形,实现隐私数据的可靠保护...mysql> SELECT CONCAT('MySQL','CONCAT'); +--------------------------+ | CONCAT('MySQL','CONCAT') | +--...> SELECT CONCAT('MySQL',NULL,'CONCAT'); +-------------------------------+ | CONCAT('MySQL',NULL,'CONCAT

2.4K20
您找到你想要的搜索结果了吗?
是的
没有找到

数据脱敏

在数字化时代,数据的价值日益凸显,然而,保护用户隐私成为了至关重要的任务。本文将深入探讨数据脱敏的概念、法律依据、脱敏技术,以及在业务中的应用场景。 什么是数据脱敏?...信息安全技术个人信息脱敏规范 由国家信息安全标准化技术委员会颁布的《信息安全技术个人信息脱敏规范》为数据脱敏提供了详细的技术规范和操作指南,对企业在实施数据脱敏时提供了标准化的指导。...原始数据:用户邮箱 - 用户手机号 脱敏数据:用户手机号 - 用户邮箱 数据生成 数据生成是一种通过生成符合业务规律的虚拟数据,用于替代真实数据脱敏方法。...原始数据:用户地址 脱敏数据:随机生成的地址 数据脱敏的业务应用场景 金融行业 在金融领域,客户的个人信息和交易数据极为敏感。...医疗健康 医疗领域涉及大量患者隐私信息,为了实现数据共享与分析,医疗机构采用数据脱敏技术,确保患者信息安全的同时促进医疗研究的发展。

44710

数据脱敏——什么是数据脱敏

---- 数据脱敏(Data Masking),又称数据漂白、数据去隐私化或数据变形。 百度百科对数据脱敏的定义为:指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。...三、如何实现数据脱敏 ---- 按照脱敏规则,可以分为可恢复性脱敏和不可恢复性脱敏。...如上图,仔细分析会发现,打日志之前,获得脱敏数据就两个步骤:【拿到要输入的数据(user实体)】→【进行序列化】,所以要进行数据脱敏可以考虑在这两个步骤上进行实现。...第一个方法就是在序列化实体之前先把需要脱敏的字段进行处理,之后正常序列化;第二个方法就是在实体序列化的时候,对要脱敏的字段进行处理。 后面来分享一下具体实现数据脱敏的方法。...---- 【 转载请注明出处——胡玉洋《数据脱敏——什么是数据脱敏》】

10.6K60

MyBatis 插件 + 注解 轻松实现数据脱敏

问题 在项目中需要对用户敏感数据进行脱敏处理,例如身份证号、手机号等信息进行加密再入库。...解决思路 方法一:最简单直接的方式就是对代码中所有涉及到敏感数据的接口在查询和插入时进行加解密 方法二:方法一会对代码入侵很大,需要考虑到所有涉及到的接口,工作量极大,并且可能出现组员协作时没有考虑到对数据加解密的问题...上层业务调用不再需要考虑数据的加解密问题同时也保证了数据脱敏 Mybatis插件原理 Mybatis的插件是通过拦截器实现的,Mabatis支持对四种对象进行拦截 实现 1、 设置参数时对参数中含有敏感字段的数据进行加密...} } } } return result; } } 加密实现类...参数插件ParameterInterceptor 切入mybatis设置参数时对敏感数据进行加密 Mybatis插件的使用就是通过实现Mybatis中的Interceptor接口 再配合@Intercepts

52920

你还不会搞数据脱敏?MyBatis 插件 + 注解轻松实现数据脱敏,So easy~!

问题 在项目中需要对用户敏感数据进行脱敏处理,例如身份号、手机号等信息进行加密再入库。...解决思路 就是:一种最简单直接的方式,在所有涉及数据敏感的查询到对插入时进行密码加解密 方法二:有方法一到出现对所有重大问题的影响,需要考虑到问题的出现,并且需要考虑可能出现的组员时添加数据的方法。...上层业务调用不再需要考虑数据的加敏同时也保证了数据的加解密 Mybatis 插件原理 Mybatis 的是通过拦截器实现的,Mabatis 支持对当事人进行拦截 实现 设置对参数中带有敏感参数字段的数据时进行加密...; } } } } return result; } } 加密实现类...参数插件ParameterInterceptor 切入mybatis设置参数时对敏感数据进行加密 Mybatis插件的使用就是通过实现Mybatis中的Interceptor接口 再@Intercepts

1.8K30

数据脱敏——基于Java自定义注解实现日志字段脱敏

https://blog.csdn.net/huyuyang6688/article/details/77759844   上文说了数据过敏主要有两个思路:第一个就是在序列化实体之前先把需要脱敏的字段进行处理...脱敏实现思路 ----   这里探讨第一种方法,用基于自定义注解的方式实现日志脱敏。   ...要对数据进行脱敏,基本上都是对一些关键的、少数字段进行脱敏,比如某个实体中可能只对password这一个字段进行脱敏处理,所以可以用自定义注解的方式,只需在需要脱敏的字段上添加一个注解,比较方便。   ...如果您有更好的方法,也希望您能够分享下~   参考资料:http://blog.csdn.net/liuc0317/article/details/48787793 ---- 【 转载请注明出处——胡玉洋《数据脱敏...——基于Java自定义注解实现日志字段脱敏》】

6.2K20

MySQL企业版之数据脱敏功能

利用企业级特性给敏感数据打码。 ---- 1. 插件安装2. 数据打码插件应用2.1 隐藏重要数据2.2 生成随机数据并打码2.3 基于字典生成随机值2.4 其他要注意的地方3. 总结4....延伸阅读 MySQL企业版从8.0.13开始,新增一个插件叫做Data Masking and De-Identification,我将其简称为数据打码插件,其主要功能有: 将部分敏感数据转换成无害数据...这就可以在查询数据库中的敏感数据时以"***"或"XXX"等方式打码显示,避免泄漏。 生成随机数据,例如邮箱或银行卡号。例如在做功能测试时,我们可能需要生成一些随机数据,就用得上了。 1....或者直接在线上环境中,利用这些函数将数据脱敏处理后,写入专门的测试库,让测试程序直接读取,或者再利用主从复制同步到本地测试环境,可以玩出各种花样。 更多详情请参考手册内容。...enjoy MySQL :) 全文完。

1.4K20

MySQL安全相关-- TDE和数据脱敏功能介绍

Data Encryption,透明数据加密) 指的是无需修改应用就可以实现数据的加解密,在数据写磁盘的时候加密,读的时候自动解密。...各种插件和组件的安装和使用方法见:https://dev.mysql.com/doc/refman/8.0/en/keyring.html 2 数据脱敏 数据脱敏,就是将敏感的信息,例如身份证信息...从8.0.13开始,MySQL企业版提供了数据脱敏的功能,主要包括: 1.转换现有数据,例如将信用卡号只保留最后四个字符,其余数据均更改为“X”字符; 2.随机数据的生成,例如电子邮件地址和信用卡号。...这些功能都是通过安装插件实现的,日常需要数据脱敏的时候,例如测试环境的部署等, 通过使用这些函数可大大方便我们的工作。...,可参见 https://dev.mysql.com/doc/refman/8.0/en/data-masking-function-reference.html 关于TDE和数据脱敏,就介绍到这里了,

1.6K10

数据脱敏

因此大数据脱敏平台的设计目标并不是实现工具算法用来完全抹去全部的用户标识信息,而是包括如下几个目标: 数据泄露风险可控。...首先,实现基于大数据平台的脱敏算法库,可并行,高效的按照脱敏规则对隐私数据进行脱敏。...结合大数据平台的用户认证体系,权限管理体系,以及隐私数据不同保护级别的权限管理体系,实现对隐私数据基于审批的数据访问机制。...结合公司制度,规范,法务等管理,实现在尽可能保护用户隐私数据,减少数据泄露风险的前提下,最大化保留数据分析挖掘的价值。 可审计。...总结 针对于大数据平台对于数据脱敏的需求,本文分析了数据泄露可能带来的风险,介绍了数据脱敏技术的理论基础与实现方式,同时简单分析了大数据平台的隐私数据脱敏技术方向。

2.3K40

Spring Boot实现数据加密脱敏:注解 + 反射 + AOP

数据加密和脱敏的需求 3. Spring Boot项目初始化 4. 敏感数据加密注解设计 5. 实现加密和脱敏的工具类 6. 实体类和加密脱敏注解的使用 7. 利用AOP实现加密和脱敏 8....总结 Spring Boot实现数据加密脱敏:注解 + 反射 + AOP ---- 1. 引言 随着信息安全的日益重要,对敏感数据进行加密和脱敏已成为业务开发中不可忽视的一环。...本文将介绍如何在Spring Boot项目中利用注解、反射和AOP的组合,实现对敏感数据的加密和脱敏,提高数据安全性。 2....实现加密和脱敏的工具类 创建一个工具类 SensitiveDataUtils,用于实现对敏感数据的加密和脱敏操作。...利用AOP实现加密和脱敏 通过AOP(面向切面编程),我们可以在方法执行前后对敏感数据进行加密和脱敏

1.2K10

一个注解,实现数据脱敏

---今天的话题是:一个注解实现业务数据脱敏。背景我们在开发的过程中,或者说再用一些类似某宝、某东的时候,发现个人信息的电话是这样的:123****7890,其实主要的目的还是为了实现数据的安全。...OK,那能不能继续往下思考一下,实现一个通用的工具类,包括各种类型的数据脱敏呢?安排上!...图片其实关键在于下方的createContextual ,获得bean的属性,然后获得注解的属性,初始化DesensitizationSerialize进行数据脱敏回写,设计的还是很巧妙的。...图片图片请求接口,看到的数据就是这样的:图片这就巧妙的实现数据脱敏,也感谢hutool工具类的支持和大神蜗牛提供的解决方案。...代码也在shigen的gitee上:数据脱敏,需要源代码的伙伴可以去看看。---以上就是《一个注解,实现数据脱敏》的全部内容了。与**shigen**一起,每天不一样!

32351

如何使用Sentry实现HiveImpala的数据脱敏

Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 本文主要描述如何使用Sentry实现数据脱敏...灵活的数据脱敏方案应该是底层数据真实的值没有被脱敏,当有用户查询数据时则判断是否屏蔽,取决于用户的具体权限。我们可以使用Sentry控制视图的权限来实现数据脱敏。...本文Fayson会以一个简单的实操例子来介绍如何使用Sentry实现Hive/Impala的数据脱敏。...regexp_replace()函数通过正则表达式的方式敏感数据屏蔽,也可以通过自定义的UDF函数来等方式来实现敏感数据脱敏。...通过脱敏SQL创建视图,使用Sentry权限控制将脱敏数据的视图提供给不同的用户访问 授权访问视图(即使授权ALL)的用户也无权限访问相应表的底层数据文件。

3.1K60

敏感数据实现“一键脱敏”!

来源:sourl.cn/uLCCPw 在真实业务场景中,数据库中经常需要存储某些客户的关键性敏感信息如:身份证号、银行卡号、姓名、手机号码等,此类信息按照合规要求,通常需要实现加密存储以满足合规要求。...痛点二 对于一些为了快速上线而一开始没有实现合规脱敏的系统,如何比较快速的使得已有业务满足合规要求的同时,尽量减少对原系统的改造。...通常的这个过程至少包括: 新增脱敏列的存储 同时做数据迁移 业务的代码做兼容逻辑等 Apache ShardingSphere下面存在一个数据脱敏模块,此模块集成的常用的数据脱敏的功能。...其基本原理是对用户输入的SQL进行解析拦截,并依靠用户的脱敏配置进行SQL的改写,从而实现对原文字段的加密及加密字段的解密。最终实现对用户无感的加解密存储、查询。...创建脱敏配置规则对象 在创建数据源之前,需要准备一个EncryptRuleConfiguration进行脱敏的配置,以下是一个例子,对于同一个数据源里两张表card_info,pay_order的不同字段进行

1.9K20

动态脱敏典型应用场景分析——业务脱敏、运维脱敏数据交换脱敏

❏ 对于遗留系统(旧系统无法再作升级改造)以及开发时未考虑《网络安全法》中要求的个人隐私保护问题,重新更改代码过于复杂,只能依赖于外部技术实现数据的隐私保护。...❖ 支持基于敏感标签的脱敏访问策略,支持 B/S、 CS 等不同架构的业务系统、支持对字符串类型、数据类型、日期类型数据脱敏,通过随机、转换、遮盖方式实现对动态数据脱敏效果,防止业务敏感数据信息和业务的个人隐私数据泄漏...❖ 无需对应用系统进行改造、无需修改数据库及存储数据,即可实现数据动态脱敏。 运维脱敏 场景特点 ❏ 共享、临时账号滥用现象,导致运维身份不清。 ❏ 特权用户访问敏感数据,行为不受管控。...❖ 特权账号访问控制,禁止DBA、SYSDBA、Schema User、Any等特权用户访问和操作敏感数据集合。 ❖ 对未授权的运维身份访问敏感数据实现动态脱敏功能。...美创数据脱敏产品,帮您实现敏感数据可靠保护!

2.3K30

新功能简介|MySQL8.0数据查询脱敏

数据库管理员会负责维护数据的隐私和完整性。针对数据脱敏,通常的方案是:应用端实现或者引入加密机等。...不过现在MySQL8.0实现数据脱敏这个功能,可以减少应用的复杂性、减少开发的工作量,也能友好的保护了数据的隐私和完整性。...在8.0.13企业版中推出插件“data_masking.so”,可以实现数据脱敏操作。 可以实现例如:银行卡号中的后四位为X字符、生产随机数据、例如电子邮件地址和支付卡号等......Percona MySQL Server实现了类似的功能。...目前Percona MySQL Server 对此功能没有GA,现在不能在生产环境使用。 少量数据:未来的规划中 可以使用逻辑备份,备份还原到新的数据库中。

1.8K10

数据库动态脱敏

动态脱敏可对业务系统数据库中敏感数据进行透明、实时脱敏。 ² 动态脱敏可以依据数据库用户名、IP、客户端工具类型、访问时间等多重身份特征进行访问控制。...² 动态脱敏对生产数据库中返回的数据可以进行放行、屏蔽、隐藏、返回行控制等多种脱敏策略。...1.jpg · 脱敏日志审计 系统将产生的日志转存至脱敏系统中,用户可以对运维人员操作数据库的日志进行查询和统计,实现数据库进行审计的功能。...典型部署 2.jpg 产品优势 · 符合等保、商密、工信部文件、央行文件等国家、行业要求 · 极大的减小数据泄漏的可能 · 支持云端应用 · 从数据源头实现透明脱敏,不需要改变原有应用系统和数据库的结构...保持原有系统的完整性和一致性,同时也不改变数据库中的数据 · 易于实施,内置脱敏规则模版,一周内就能完成复杂业务系统的实施 · 一次部署可以支持多台数据库 系统支持范围 Oracle、MySQL等 支持脱敏方式

2.6K60

数据库静态脱敏

产品简介 中安威士数据库静态脱敏系统(简称VS-DM-S)是一款由中安威士自主研发的数据遮蔽和仿真脱敏产品。...数据对比 本脱敏系统提供脱敏前后数据校验功能,从数据库结构、数据对象、表数量、表内数据量等维度对比分析源库数据和目标库数据的差异。用户管理员可据此判断该脱敏任务是否胜利完成,脱敏方案是否合理。...数据上传 脱敏后的数据可以实时的上传到目标服务器,也可以保存在脱敏服务器上,按需的上传到目标服务器,实现一次脱敏多次使用。...针对每种已经识别的敏感数据类型,则单独提供仿真和遮蔽规则。而且所有的仿真脱敏规则还支持可逆脱敏:使用数据仿真规则脱敏后的数据,再次经过脱敏设备处理后,可以将指定范围的数据还原为真实的原始数据。...5.jpg 高兼容性 u 支持数据库类型:Oracle、Mysql、MSSQL、DB2、Gbase8A/8T/8S、达梦、TreaData、PostgreSQL、GreenPlum等 u 支持大数据平台

2.6K50
领券