敏感数据进行脱敏处理 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

如何对数据进行脱敏处理？

一、背景实际的业务开发过程中，我们经常需要对用户的隐私数据进行脱敏处理，所谓脱敏处理其实就是将数据进行混淆隐藏，例如下图，将用户的手机号、地址等数据信息，采用*进行隐藏，以免泄露个人隐私信息。...但如果是类似上面那种很多位置的数据，需要分门别类的进行脱敏处理，通过这种简单粗暴的处理，代码似乎就显得不太优雅了。...思考一下，我们可不可以在数据输出的阶段，进行统一数据脱敏处理，这样就可以省下不少体力活。说到数据输出，很多同学可能会想到 JSON 序列化。...那么问题来了，如何在序列化的时候，进行数据脱敏处理呢？废话不多说，代码直接撸上！...四、参考 1、CSDN - 注解实现json序列化的时候自动进行数据脱敏 2、yanbin.blog - 自定义 Jackson 注解与禁用某一特定的注解 3、简书 - 数据脱敏处理

3.8K2 0

Java 实现日志脱敏处理

引言在日常工作中，日志处理是我们每一个程序员必备的素质，但是在有些场景下客户信息敏感，需要进行某些字段，或者某部分字段的脱敏处理。接到需求我们开始操刀！...，异常信息:[{}]", new Object[]{e}); } } /** * 脱敏处理方法 * * @param object...object); } catch (Exception e) { e.printStackTrace(); logger.error("日志脱敏处理失败...实现第二版由于在RPC调用过程当中，大部分接口的参数封装数据类型都是Map，但是部分接口还是使用Java Bean所以在此针对Java Bean形式实现日志脱敏功能实现思路：根据不同的数据类型进行不同判断...，异常信息:[{}]", new Object[]{e}); } } /** * 脱敏处理方法 * * @param object

3.6K3 0

您找到你想要的搜索结果了吗？

是的

没有找到

敏感数据，“一键脱敏”，Sharding Sphere 完美搞定

痛点一通常的解决方案是我们书写SQL的时候，把对应的加密字段手动进行加密再进行插入，在查询的时候使用之前再手动进行解密。...（通常的这个过程至少包括： 1、新增脱敏列的存储 2、同时做数据迁移 3、业务的代码做兼容逻辑等 Apache ShardingSphere下面存在一个数据脱敏模块，此模块集成的常用的数据脱敏的功能...其基本原理是对用户输入的SQL进行解析拦截，并依靠用户的脱敏配置进行SQL的改写，从而实现对字段的加密及加密字段的解密。最终实现对用户无感的加解密存储、查询。...在创建数据源之前，需要准备一个EncryptRuleConfiguration进行脱敏的配置，以下是一个例子，对于同一个数据源里两张表card_info，pay_order的不同字段进行AES的加密...Sharding Shpere在拦截到SQL改写的时候，会按照用户的配置，把逻辑列映射为名文列或者脱敏列（默认）如下的示例 3、使用Sharding Sphere的数据源进行管理把原始的数据源包装一层

1.5K4 0

自定义注解进行信息脱敏

最近在使用@DateFormate , 进行信息日期格式化的时候，在思考他是怎么实现的呢。...我们这里设计一下啊，首先他要有参数解析，还要加入后置的参数处理器里面，就是response 返回显示到modelview 页面的这一步骤。...要对参数类型，参数值进行转化。最后在加入后置的参数处理器里面。也就是加入消息转换器里面。这里我们先自定义注解试一下，我们就以手机号为列子， ? 作用于属性上面，在写一个 ?

8942 0

静态脱敏典型应用场景分析——开发测试、数据共享、科学研究

❖ 支持对于Oracle dmp文件进行直接解析，并进行脱敏处理。 ❖ 数据脱敏根据实际业务需求提供脱敏数据，可通过数据子集、黑名单、白名单等方式控制数据脱敏范围。...数据共享应用场景数据共享场景在一些特定需求下，需要对特定敏感数据进行处理，保留部分敏感数据，交付给企业内部的其他部门或者外部企业。...❖ 对于脱敏源中存在的脏数据（不符合敏感对象业务特征的数据），系统同样会对这部分数据进行变形处理，以避免隐形敏感数据泄露。...❏ 脱敏后的数据需要有分析的价值，数据的业务特征不能丧失。 ❏ 大数据分析平台中包括海量的用户隐私和敏感数据，针对大数据环境进行数据脱敏，数据结构复杂，包括结构化、非结构化数据等，脱敏操作复杂。...美创数据脱敏系统内置敏感数据发现引擎，对源数据中的敏感数据按照脱敏规则，进行变形、漂泊、遮盖，保证脱敏后的数据保持数据的一致性和业务的关联性，应用于开发测试环境、数据交换、数据分析、数据共享等场景。

1.9K4 0

如何进行数据脱敏

数据脱敏是一种采用专门的脱敏算法对敏感数据进行变形、屏蔽、替换、随机化、加密，并将敏感数据转化为虚构数据的技术。...而动态脱敏通常用于生产环境，在敏感数据被低权限用户访问时对其进行脱敏，并能够根据策略执行相应的脱敏方法。...静态脱敏技术原理主要是通过内置规则来自动识别敏感数据，通过内置的脱敏算法对数据进行漂白。...常规的静态脱敏用来识别一些涉及个人隐私的敏感数据，比如信用卡号、ID、手机号、电子邮箱、IP地址、住址等。识别出敏感数据之后，就需要使用脱敏算法来进行脱敏。...在大数据环境中，面对海量、异构、需要实时处理的数据，如何能够在不影响数据使用的条件下，在用户层面实现数据屏蔽、加密、隐藏、审计或内容封锁是动态脱敏技术的目标。

3392 0

大厂也在用的 6种数据脱敏方案，严防泄露数据的 “内鬼”

数据脱敏也叫数据的去隐私化，在我们给定脱敏规则和策略的情况下，对敏感数据比如手机号、银行卡号等信息，进行转换或者修改的一种技术手段，防止敏感数据直接在不可靠的环境下使用。...有时我们可能需要将生产环境的数据 copy 到测试、开发库中，以此来排查问题或进行数据分析，但出于安全考虑又不能将敏感数据存储于非生产环境，此时就要把敏感数据从生产环境脱敏完毕之后再在非生产环境使用。...动态数据脱敏动态数据脱敏（DDM）：一般用在生产环境，访问敏感数据时实时进行脱敏，因为有时在不同情况下对于同一敏感数据的读取，需要做不同级别的脱敏处理，例如：不同角色、不同权限所执行的脱敏方案会不同。...[原始数据] 1、无效化无效化方案在处理待脱敏的数据时，通过对字段数据值进行截断、加密、隐藏等方式让敏感数据脱敏，使其不再具有利用价值。...[原始数据] 对价格字段 price 做平均值处理后，字段总金额不变，但脱敏后的字段值都在均值 60 附近。

1.6K3 0

大厂也在用的 6种数据脱敏方案，别做泄密内鬼

数据脱敏也叫数据的去隐私化，在我们给定脱敏规则和策略的情况下，对敏感数据比如手机号、银行卡号等信息，进行转换或者修改的一种技术手段，防止敏感数据直接在不可靠的环境下使用。...有时我们可能需要将生产环境的数据 copy 到测试、开发库中，以此来排查问题或进行数据分析，但出于安全考虑又不能将敏感数据存储于非生产环境，此时就要把敏感数据从生产环境脱敏完毕之后再在非生产环境使用。...动态数据脱敏动态数据脱敏（DDM）：一般用在生产环境，访问敏感数据时实时进行脱敏，因为有时在不同情况下对于同一敏感数据的读取，需要做不同级别的脱敏处理，例如：不同角色、不同权限所执行的脱敏方案会不同。...原始数据 1、无效化无效化方案在处理待脱敏的数据时，通过对字段数据值进行截断、加密、隐藏等方式让敏感数据脱敏，使其不再具有利用价值。...原始数据对价格字段 price 做平均值处理后，字段总金额不变，但脱敏后的字段值都在均值 60 附近。

1.9K1 0

JeecgBoot中如何对敏感信息进行脱敏处理？

数据脱敏即将一些敏感信息通过加密、格式化等方式处理，展示给用户一个新的或是格式化后的信息，避免了敏感信息的暴露。一、接口脱敏注解针对接口数据实现脱敏加密，只加密，一般此方案用于数据加密展示。...1.1 注解介绍注解作用域描述@Sensitive实体脱敏加密注解，表示接口返回这个实体的值进行脱敏处理 1.2 示例只需要给实体加上注解，返回接口字段数据自动加密1.3 脱敏类型数据处理规则支持...：加密处理、用户名称格式化、身份证号码格式化、邮件电话格式化等语法：字段注解@Sensitive属性type，默认是encode(加密处理)敏感类型支持如下：public enum SensitiveEnum

2381 0

大厂也在用的 6 种数据脱敏方案，别做泄密内鬼

数据脱敏也叫数据的去隐私化，在我们给定脱敏规则和策略的情况下，对敏感数据比如手机号、银行卡号等信息，进行转换或者修改的一种技术手段，防止敏感数据直接在不可靠的环境下使用。...有时我们可能需要将生产环境的数据 copy 到测试、开发库中，以此来排查问题或进行数据分析，但出于安全考虑又不能将敏感数据存储于非生产环境，此时就要把敏感数据从生产环境脱敏完毕之后再在非生产环境使用。...动态数据脱敏（DDM）：一般用在生产环境，访问敏感数据时实时进行脱敏，因为有时在不同情况下对于同一敏感数据的读取，需要做不同级别的脱敏处理，例如：不同角色、不同权限所执行的脱敏方案会不同。...原始数据 1、无效化无效化方案在处理待脱敏的数据时，通过对字段数据值进行截断、加密、隐藏等方式让敏感数据脱敏，使其不再具有利用价值。...原始数据对价格字段 price 做平均值处理后，字段总金额不变，但脱敏后的字段值都在均值 60 附近。

2381 0

【金猿案例展】某农商行：数据脱敏系统经典实践

许多数据库访问监控（DAM）解决方案能够审核用户访问记录，并在发生数据泄露问题后帮助进行识别，但它们无法对敏感信息进行匿名化处理，以便防患于未然。...4）自动创建文件脱敏任务自动创建文件脱敏方案，根据文件源和敏感数据梳理结果进行脱敏方案的自动配置；自动创建文件脱敏任务，将脱敏方案关联到脱敏任务，并进行脱敏任务的自动执行。...8）敏感数据字典管理以敏感数据为中心，对数据库字段进行分类管理；对同库多表、多库多表的同类敏感数据实施统一的脱敏算法和策略，保证同一组织内跨系统、跨库之间的脱敏一致性；并支持敏感数据字典导入、导出等功能...，如果未下发或解压完成将重新读取下发文件； ●自动创建敏感数据发现任务，并进行敏感数据的自动发现，执行发现任务后根据敏感数据梳理模板对敏感数据进行自动梳理，生成梳理后的敏感字段列表； ●判断是否有敏感数据...；因此脱敏产品应该具有很好的识别敏感数据的能力，能够不依赖元数据中对表和字段的定义，而是根据数据特征自动的识别敏感数据并进行有效脱敏。

1.1K1 0

PostgreSQL隐私保护终极教程：3小时手撕敏感数据，自动脱敏代码白嫖拿走

#一、为什么说数据脱敏是DBA的"救命符"？假设你是外卖平台DBA，开发小哥要用用户手机号测试短信功能——如果直接用真实数据，轻则用户被骚扰，重则公司吃官司。...脱敏本质：把数据"化妆"成看似真实但无法反推的假数据，就像把"张三的13812345678"变成"张先生 138***5678"。...#二、手动脱敏：3种方法+防翻车指南（1200字，新增避坑场景和原理说明） #基础版：UPDATE直接改（适合小表） -- 操作前必做！...备份命令（别偷懒） pg_dump -U postgres mydb >/backup/mydb_20240401.sql -- 身份证号脱敏（保留前3后4位） UPDATE...勾选"关联脱敏"（自动处理订单表→用户表）设置脱敏算法 → 测试运行 → 生产环境启用优势对比：功能自建脚本华为云DSC 关联表识别需手动配置自动发现增量数据同步需写复杂SQL 一键开启

1120 0

敏感数据，实现“一键脱敏”！

痛点一通常的解决方案是我们书写SQL的时候，把对应的加密字段手动进行加密再进行插入，在查询的时候使用之前再手动进行解密。...通常的这个过程至少包括：新增脱敏列的存储同时做数据迁移业务的代码做兼容逻辑等 Apache ShardingSphere下面存在一个数据脱敏模块，此模块集成的常用的数据脱敏的功能。...其基本原理是对用户输入的SQL进行解析拦截，并依靠用户的脱敏配置进行SQL的改写，从而实现对原文字段的加密及加密字段的解密。最终实现对用户无感的加解密存储、查询。...脱敏配置Quick Start——Spring版以下介绍基于Spring如何快速让系统支持脱敏配置。 1. 引入依赖脱敏配置规则对象在创建数据源之前，需要准备一个EncryptRuleConfiguration进行脱敏的配置，以下是一个例子，对于同一个数据源里两张表card_info，pay_order的不同字段进行

2.1K2 0

数据治理之数据脱敏技术研究

数据脱敏工具通过将真实敏感数据按照数据脱敏规则进行转换、处理，去除敏感信息，从而帮助组织实现生产数据的依法依规共享。...4）防数据推理原则数据脱敏不需要将所有的数据进行脱敏处理，只处理被定义为敏感数据内容。...但需要注意的是有些非敏感数据能够被用来重新生成敏感数据或者能够回溯到敏感数据，这些非敏感数据同样需要进行脱敏处理。 5) 自动化原则针对一个数据源只需要配置一次，就可以重复进行脱敏处理。...数据加密：敏感数据进行加密处理，加密后的数据与原始数据差异较大。可以使用的数据脱敏算法包括：MD5加密、AES对称加密、FPE格式保留加密等方法。...需要对客户基本信息、订单基本信息进行脱敏，购买习惯属于分析结果（包含的客户、订单已经脱敏过）不需要在进行脱敏处理。

4.7K2 1

为何说敏感数据处理是数据安全防护线？如何处理敏感数据？

怎样处理敏感数据？为何说敏感数据处理是数据安全防护线？ 1、敏感数据处理能保护客户隐私。...2、敏感数据处理能避免资金风险。公司的一些数据不适合向公众公布，包括公司网络结构、运营状况等数据，公司的银行账户信息也应当保密，对敏感数据进行处理，能够在一定程度上，避免资金交易风险。...3、敏感数据处理能保护商业机密。...处理敏感数据的方法包括动态脱敏和静态脱敏技术，动态脱敏就是抽取敏感数据，对这些数据进行漂白，它能够对敏感数据进行有效遮盖、屏蔽以及变形处理，从而保证敏感数据不泄露，静态脱敏技术的应用时间早，具有技术成熟的特点...为何说敏感数据处理是数据安全防护线？上文内容就是对该问题的解答，处理敏感数据的意义不可忽视，能够起到保护客户隐私和维护公司利益的作用，要采用专用技术和先进方案处理敏感数据。

2.3K1 0

送你秋天的第一份安心

一、敏感数据处理智能化我们都知道，在开发测试场景中，经常需要高度模拟真实生产环境中的数据来进行测试，但又不能直接使用生产数据，这就对脱敏后的数据一致性会有严格要求。...而DBbrain就可以对敏感信息进行智能、高效、便捷地脱敏处理。 1. 敏感数据自动发现 DBbrain支持自定义敏感数据类型的自动发现，满足用户个性化的数据保护需求。...内置多达20种敏感数据识别规则，覆盖中美欧等多国有关个人信息保护的法律法规，在满足合规性的基础上，能够对数据集的所有字段进行敏感属性识别，确保隐藏在大段文本中的敏感信息能够得到妥善处理。 2....内置多种脱敏算法 DBbrain支持加星、屏蔽、洗牌、令牌化、格式保留加密、AES加密等多种内置高级脱敏算法，满足数据可用性与隐私保护的各种要求，用户可根据需求自定义脱敏算法，对敏感数据进行不同的脱敏处理...脱敏规则灵活化 DBbrain支持自定义脱敏规则，用户能够通过正则表达式，自主定义数据内容格式并制定脱敏算法，按照不同场合，对敏感数据进行变形处理，与此同时不改变数据的类型、格式、含义、分布等使用特征，

8032 0

数栈技术分享：数栈如何保障企业数据安全和隐私？

2、数据脱敏「数栈」的数据脱敏管理模块，可以实现用户对脱敏的数据进行各类查询和操作，但不能查看、导出敏感数据的具体内容，实现“可操作，但不可见”的效果。...为了全方面保障数据安全，「数栈-数据地图」支持对数据血缘的实时解析，当用户对敏感数据插入其他表，或进行加工处理后，新的数据依然会保持脱敏状态，防止敏感数据外泄。...2）当数据脱敏后-脱敏数据的查看和使用数据加密和解密、脱敏等问题，获取的数据已经是加密或者脱敏的，当在界面看到数据内容是脱敏的，例如是：***等，当使用者需要数据时候，是直接使用秘钥就OK，或者其他方式处理呢...实际上产品的数据脱敏管理模块，可以实现用户对脱敏的数据进行各类查询和操作，但不能查看、导出敏感数据的具体内容，实现“可操作，但不可见”的效果。...为了全方面的保障数据安全，「数栈-数据地图」支持对数据血缘的实时解析，当用户对敏感数据插入其他表，或进行加工处理后，新的数据依然会保持脱敏状态，防止敏感数据外泄。

9910 0

Data Masking：线上数据线下使用的数据处理方法

数据脱敏（DataMasking）就是针对敏感信息进行处理的技术，通过对敏感数据的清晰、变形等方法保护了敏感信息的保密性，同时又能够利用这些信息进行质量保证工作的支持。...例如，将电话号码的后6位替换为星号；加密：通过对敏感数据进行加密，保护数据的机密性。...例如，对信用卡号码加密处理，可以通过哈希法将新信用卡号码进行哈希处理，转换成不可逆的哈希值；截断：通过截断敏感数据的一部分或全部，限制访问敏感信息的范围。...例如，只显示姓名的首字母；虚拟：在测试和开发环境中使用虚拟数据代替真实数据，虚拟数据可以是随机生成的、采样的或者是经过脱敏处理的；偏移：对于某一些数据进行固定的偏移，例如订单流水实际都是1开头的，那么我们都处理成...审查脱敏策略：随着业务发展和技术进步，定期审查和更新脱敏策略。自动化脱敏过程：利用自动化工具进行数据脱敏，提高效率和准确性。

3121 0

自定义mysql脱敏中间件 -- 对指定连接进行指定字段的数据脱敏

需求昨天群友有这么一个需求: 对应特定的连接查询特定的表字段的时候,对其进行脱敏...., 也可以在返回数据的时候动手脚.比较快速的是使用视图, 在建视图的时候,就对数据进行脱敏, 然后只给对应连接该视图的权限....脱敏函数可以参考percona的插件data_masking.so的.使用第三方的脱敏工具, 但是可能使用较为复杂.自定义:做一个中间件转发业务sql,如果返回数据匹配到相关相关字段则进行脱敏实现方法前两者都有现成的方法...客户端发送的那一条线, 完全是转发, 不需要额外处理.主要是服务端返回给客户端的时候需要注意下, 主要涉及3种包:column_count 记录数据行数的column 记录字段元数据信息的, 比如字段名字...bit是1, 说明是主键的一部分,且不能为空.decimal0 # 不是decimal扯远了, 比如我们匹配到服务端给客户端返回数据行了, 就匹配下字段信息, 如果匹配上了, 后续返回数据的时候就对其进行脱敏

2762 0

敏感数据处理流程是怎样的？敏感数据泄露有何危害？

它的功能主要是为了防止软件使用者，在使用软件的时候对代码和程序进行更改。我们也能够通过它来监控软件有没有被他人更改的痕迹。也是一种保护我们在互联网使用当中的安全工具。...首先，我们在软件当中可以对代码进行安装签名证书。我们在获取到代码签名证书之后，对它进行解压和详细签名的安装，在使用正确命令验证之后就可以对软件加上防护了。

2K3 0

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭