首页
学习
活动
专区
圈层
工具
发布

敏感数据,实现“一键脱敏”!

痛点二 对于一些为了快速上线而一开始没有实现合规脱敏的系统,如何比较快速的使得已有业务满足合规要求的同时,尽量减少对原系统的改造。...通常的这个过程至少包括: 新增脱敏列的存储 同时做数据迁移 业务的代码做兼容逻辑等 Apache ShardingSphere下面存在一个数据脱敏模块,此模块集成的常用的数据脱敏的功能。...其基本原理是对用户输入的SQL进行解析拦截,并依靠用户的脱敏配置进行SQL的改写,从而实现对原文字段的加密及加密字段的解密。最终实现对用户无感的加解密存储、查询。...创建脱敏配置规则对象 在创建数据源之前,需要准备一个EncryptRuleConfiguration进行脱敏的配置,以下是一个例子,对于同一个数据源里两张表card_info,pay_order的不同字段进行...则是一个逻辑列,对于新系统,此逻辑列即为真实的脱敏列。

2.9K20

Presidio:文本与图像敏感数据脱敏框架

Presidio(源自拉丁语praesidium,意为“保护、驻军”)有助于确保敏感数据得到妥善管理和治理。...支持针对特定业务需求的可扩展性和可定制性。在多个平台上促进完全自动化和半自动化的PII去标识化流程。...主要功能特性预定义或自定义的PII识别器:利用命名实体识别(NER)、正则表达式、基于规则的逻辑和校验和,支持多种语言的上下文关联。连接外部PII检测模型的选项。...PII识别和去标识化的可定制性。用于编辑图像中PII文本的模块(支持标准图像类型和DICOM医学图像)。⚠️ 重要提示:Presidio 可以帮助识别非结构化/结构化文本中的敏感/PII数据。...因此,应部署额外的系统和保护措施。

56510
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    敏感数据,“一键脱敏”,Sharding Sphere 完美搞定

    大家好,我是磊哥。 在真实业务场景中,数据库中经常需要存储某些客户的关键性敏感信息如:身份证号、银行卡号、姓名、手机号码等,此类信息按照合规要求,通常需要实现加密存储以满足合规要求。...(通常的这个过程至少包括: 1、 新增脱敏列的存储 2、 同时做数据迁移 3、 业务的代码做兼容逻辑等 Apache ShardingSphere下面存在一个数据脱敏模块,此模块集成的常用的数据脱敏的功能...其基本原理是对用户输入的SQL进行解析拦截,并依靠用户的脱敏配置进行SQL的改写,从而实现对字段的加密及加密字段的解密。最终实现对用户无感的加解密存储、查询。...,前两个参数分表叫plainColumn、cipherColumn,其意思是数据库存储里面真实的两个列(名文列、脱敏列),对于新的系统,只需要设置脱敏列即可,所以以上示例为plainColumn为”“。...key则是一个逻辑列,对于新系统,此逻辑列即为真实的脱敏列。

    2.1K40

    好的工作想法从哪里来

    提出论点 好的研究想法,兼顾摘果子和啃骨头。...两年前,曾看过刘知远老师的一篇文章《好的研究想法从哪里来》,直到现在印象依然很深刻,文中分析了摘低垂果实容易,但也容易撞车,啃骨头难,但也可能是个不错的选择。...初入团队,寻找自己的立足点,需要一个好的工作想法。每年末,抓耳挠腮做规划,想要憋出一个好的工作想法。很多同学,包括我自己,陆陆续续零零散散想到很多点,然后自己不断否掉。...人的三维+时间半维 具体如何找到好的想法,一时半会没有头绪。因此,回到最初的起点,从人的层面,我有什么?我想要有什么?...引用 好的研究想法从哪里来 杜跃进:数据安全治理的基本思路 来都来了。

    13.5K40

    腾讯云安全 HaS Anonymizer 敏感数据发现与脱敏产品概要

    一、产品定位与核心亮点 技术定义:腾讯云安全 HaS Anonymizer 是一款专注于敏感数据发现与脱敏的安全产品,以“句句搞定”为核心能力,实现敏感数据的自动化识别与脱敏处理。...核心技术属性:基于高效数据处理引擎,支持敏感数据的精准定位与动态脱敏。 商业差异化卖点:通过简化操作流程(“句句搞定”),降低敏感数据治理门槛,提升企业数据安全合规效率。...硬核指标 原文未提供支持的协议种类、API响应延迟、数据格式、吞吐量(TPS)等量化数据。 产品优势 原文未逐段扫描提取优势能力及功能点。 荣誉背书 原文未描述产品获得的技术荣誉和奖项。...数据来源:原文仅提供产品名称“腾讯云安全 HaS Anonymizer”及宣传语“句句搞定敏感数据发现&脱敏”,未包含其他结构化信息。

    34810

    平台级安全架构:凭据隔离、权限分级与敏感数据脱敏

    当企业把自动化从"跑几个流程"推进到"让成百上千个数字员工协同干活",安全就从"上线前的检查项"变成了"平台的地基"。...本文从平台工程视角,拆解凭据隔离、权限分级与敏感数据脱敏这三件必须做对的事。...四、敏感数据脱敏:传输、存储、日志三道关传输加密:跨系统数据走受控通道,不在公网明文暴露;字段级脱敏:身份证号、银行卡号、手机号等按规则脱敏,仅保留业务必需部分;日志不留明文:运行日志、录屏元数据不记录敏感原文...,而非事后补救——凭据、权限、脱敏、审计四件事同步规划,才能支撑规模化运营而不留隐患。...某金融集团在录屏与行为分析加持下,约 70 名人员即可覆盖 2200 名客服、15 万条通话的质检,效率提升约 10%,正是安全与效率并重的样本。

    17810

    生产库敏感数据治理,从 “手动遮码” 到平台化自动脱敏

    更完整的敏感数据治理还要回答三个问题:其一,哪些字段应该纳入脱敏;其二,不同角色看到的结果是否应该一样;其三,查询、导出、审计这些后续动作如何继续受控。...没有扫描、识别和类型化管理,团队就会陷入“知道有风险,但不知道哪里还有”的被动局面。...NineData 预置了 S0 ~ S5 6 个敏感数据等级,以及对应的识别规则,可全自动识别企业数据库中的敏感数据并脱敏,可根据敏感数据登记设置S1 ~ S5 的对应审批人。...此外,NineData 提供的敏感数据大盘功能,展示当前组织下敏感数据相关信息,包含支持敏感数据保护的数据源总数、已开启敏感数据的数据源总数以及敏感级别、已开启敏感数据的表的总数、敏感列的总数、敏感数据访问次数等...总结所以,敏感数据脱敏更需要解决的,并不是“把几个字符遮一下”,而是把数据库中的个人信息和敏感信息从默认明文可见,改造成按角色、按场景、按规则受控可见。

    35300

    ASP.NET Core HTTP日志终极指南:从基础配置到敏感数据脱敏实战

    本期内容深度涵盖: 在ASP.NET Core项目中启用和配置HTTP日志 日志选项与设置详解 自定义日志与端点级配置 敏感数据脱敏技术 记录HttpClient发出的请求和响应 访问我的网站获取...logging.LoggingFields = HttpLoggingFields.RequestBody | HttpLoggingFields.ResponseStatusCode; }); 敏感数据脱敏实战...为何必须脱敏: • 安全风险:日志中的令牌/密码会导致未授权访问 • 合规要求:GDPR/HIPAA等法规明令保护敏感数据 • 用户信任:保护隐私是赢得用户信任的基础 解决方案: public classSensitiveDataRedactionInterceptor...记录所有Header和Body 开发环境启用详细日志 生产环境记录敏感信息 使用正则表达式精准脱敏 手动过滤敏感字段 自动化测试验证脱敏规则 假设日志不会泄露敏感数据 按需启用请求/响应体记录 全程记录大型...Body 当3AM的生产告警响起时,完善的HTTP日志将是您排查问题的救生索。

    63110

    数据安全治理深度实践:从敏感数据发现到动态脱敏的全链路工程

    本文将从工程视角出发,系统拆解数据安全治理的四大核心技术模块——敏感数据发现与分类分级、动态脱敏与匿名化、策略驱动的访问控制、审计追踪与合规,并结合可运行的开源代码,呈现一套生产级实践方案。...一、敏感数据发现与分类分级:治理的“眼睛”数据安全治理的第一步,是搞清楚“数据在哪里、是什么、有多敏感”。这需要自动化工具对数据库、文件系统、日志等数据源进行持续扫描与智能识别。1....(伪名化、遮蔽、哈希、泛化、删除、保留),并内置了55+种语言环境的敏感数据模式识别能力。...、脱敏、导出操作都留下可验证的审计痕迹。...其工程实践的核心原则有三:自动化优先:敏感数据的发现和分类不能依赖人工梳理,必须通过正则、AI模型、校验规则实现持续扫描。

    16510

    AutoForm软件强在哪里?用过的人都说好

    它是用于完善工艺方案和模具繁杂型面的设计,专门针对汽车和金属成形中的板料成形而开发和优化的。全球大概有九成的汽车制造商用它来进行产品开发、完善工艺。...它将全球各地的方法经验吸收融合,来确保有最新的技术支持。...据网上统计,在薄板冲压成型仿真方面,当前autoform软件市场在全球的占比是排第一的有90%以上的汽车制造商在使用autoform,全球前20家的汽车制造商全都在使用在国内,autoform软件也是有非常多的行业用户...(2)适合设计复杂的深拉延和拉伸成形模、工艺和模面的验证,优化成形参数,最大化减少材料与润滑剂损耗,新板料的评估和改进(4)快速实现求解、简单好用的界面和快速上手、对复杂的工程也有稳当的结果。...我们没必要使用大量硬件和专门的模拟分析师傅,直接能用autoform软件完成模拟。它高质量的结果可以减少产品的开发验证时间,降低开发成本,提高产品质量,给公司带来非常大的竞争优势和市场机遇。

    5.6K30

    PostgreSQL隐私保护终极教程:3小时手撕敏感数据,自动脱敏代码白嫖拿走

    #一、为什么说数据脱敏是DBA的"救命符"? 假设你是外卖平台DBA,开发小哥要用用户手机号测试短信功能——如果直接用真实数据,轻则用户被骚扰,重则公司吃官司。...脱敏本质:把数据"化妆"成看似真实但无法反推的假数据,就像把"张三的13812345678"变成"张先生 138***5678"。...:解放双手的3种方案 #方案1:Linux定时任务(零成本) # 每天凌晨2点自动脱敏新数据 0 2 * * * psql -d mydb -c "UPDATE user_log SET ip=CONCAT...CREATETRIGGER mask_card_trigger BEFORE INSERTON payment FOREACHROWEXECUTEFUNCTION mask_card(); #四、脱敏后必须检查的...3个雷区 (新增验证工具命令) 数据一致性验证 -- 检查是否有未脱敏的漏网之鱼 SELECT*FROM medical_records WHERE phone NOTLIKE'%****%';

    71200

    【学术分享】刘知远:好的研究想法从哪里来

    从自己十多年研究经历来看,如何判断一个研究想法好不好,以及这些研究想法从哪里来,对于初学者而言的确是个难题。所以,简单攒了这篇小短文,分享一些经验和想法,希望对刚进入NLP领域的新同学有用。...而计算机领域流行着一句话“IDEA is cheap, show me the code”,也说明对于重视实践的计算机学科而言,想法的好坏还取决于它的实际效能。这里就来谈下好的研究想法从哪里来。...那么什么才是好的想法呢?我理解这个”好“字,至少有两个层面的意义。 学科发展角度的”好“ 学术研究本质是对未知领域的探索,是对开放问题的答案的追寻。...好的研究想法从哪里来 想法好还是不好,并不是非黑即白的二分问题,而是像光谱一样呈连续分布,因时而异,因人而宜。...那么,好的研究想法从哪里来呢?我总结,首先要有区分研究想法好与不好的能力,这需要深入全面了解所在研究方向的历史与现状,具体就是对学科文献的全面掌握。

    13.7K20

    写一手好SQL,你该从哪里入手?

    这里很有可能的主要原因就是没有命中索引和没有分页处理(原因有很多种,主要分析你的日志)。那接下来我们就得去优化sql了。 **如何优化呢?下面我们来谈谈有关的问题。...三、索引优化,这个经常谈到 索引的分类有哪些? 1 普通索引:最基本的索引 2 组合索引:多个字段上建立的索引,能够加速复合查询条件的检索。...3 唯一索引:与普通索引类似,但索引列的值必须唯一,允许有空值 4 组合唯一索引:列值的组合必须唯一 5 主键索引:特殊的唯一索引,用于唯一标识数据表中的某一条记录,不允许有空值,一般用primary...被驱动表的join字段上加上索引,无法建立索引的时候,设置足够的Join Buffer Size。 禁止join连接三个以上的表,尝试增加冗余字段。...只好用游标了,感兴趣的朋友阅读JDBC使用游标实现分页查询的方法

    3.1K20

    go-zero v1.9.0重磅发布:敏感数据脱敏、MongoDB驱动升级与性能全面提升

    2025年8月17日,go-zero发布了v1.9.0版本,带来了多项重磅更新,包括敏感数据日志脱敏、MongoDB驱动升级、泛型集合性能提升、自定义中间件支持等多项改进。...一、日志安全增强:敏感数据自动脱敏 在微服务架构中,日志记录是系统监控和故障排查的重要手段,但同时也可能成为敏感数据泄露的渠道。...go-zero v1.9.0版本针对这一问题,在logx组件中新增了敏感数据自动脱敏功能,极大地提升了系统的安全性。...实现原理是在日志输出前对数据结构进行扫描,根据预定义的规则或标记对特定字段进行脱敏处理,如替换为星号(*)或其他占位符。...七、总结与展望 go-zero v1.9.0版本带来了全方位的改进和增强,从安全性的敏感数据脱敏,到性能的泛型集合优化,再到稳定性的各种修复,每一处改进都体现了框架对生产环境需求的深刻理解和持续优化。

    61610

    清华教授刘知远:AI领域好的研究想法从哪里来?

    从自己十多年研究经历来看,如何判断一个研究想法好不好,以及这些研究想法从哪里来,对于初学者而言的确是个难题。所以,简单攒了这篇小短文,分享一些经验和想法,希望对刚进入NLP领域的新同学有用。...而计算机领域流行着一句话“IDEA is cheap, show me the code”,也说明对于重视实践的计算机学科而言,想法的好坏还取决于它的实际效能。这里就来谈下好的研究想法从哪里来。...那么什么才是好的想法呢?我理解这个”好“字,至少有两个层面的意义。 学科发展角度的”好“ 学术研究本质是对未知领域的探索,是对开放问题的答案的追寻。...好的研究想法从哪里来 想法好还是不好,并不是非黑即白的二分问题,而是像光谱一样呈连续分布,因时而异,因人而宜。...那么,好的研究想法从哪里来呢?我总结,首先要有区分研究想法好与不好的能力,这需要深入全面了解所在研究方向的历史与现状,具体就是对学科文献的全面掌握。

    10.4K11

    微服务的优势在哪里,为什么别人都在说微服务好

    我六月底参加深圳的一个线下技术活动,某在线编程的 CEO 谈到他们公司的发版,说:“我说话的这会儿,我们可能就有新版本在发布。”,这句话令我印象深刻。...传统的单体应用,所有的功能模块都写在一起,有的模块是 CPU 运算密集型的,有的模块则是对内存需求更大的,这些模块的代码写在一起,部署的时候,我们只能选择 CPU 运算更强,内存更大的机器,如果采用了了微服务架构...可以灵活的采用最新技术 传统的单体应用一个非常大的弊端就是技术栈升级非常麻烦,这也是为什么你经常会见到用 10 年前的技术栈做的项目,现在还需要继续开发维护。...服务的拆分 个人觉得,这是最大的挑战,我了解到一些公司做微服务,但是服务拆分的乱七八糟。这样到后期越搞越乱,越搞越麻烦,你可能会觉得微服务真坑爹,后悔当初信了说微服务好的鬼话。...这个段子形象的说明了分布式系统带来的挑战。

    15.1K00

    内网敏感数据的发现

    内网敏感数据的发现 内网的核心敏感数据,不仅包括数据库、电子邮件,还包括个人数据及组织的业务数据、技术数据等。可以说,价值较高的数据基本都在内网中。...因此,了解攻击者的操作流程,对内网数据安全防护工作至关重要。 01 内网资料、数据、文件的定位流程 内网数据防护的第一步,就是要熟悉攻击者获取数据的流程。...3.定位相关人员的机器 通过人事资料中的需要监视人员的相关资料和已经收集到域计算机和域用户等信息,一般能够很快定位到相关人员的机器。...4.监视相关人员存放文档的位置 除了相关人员机器内的文档存放位置,更重要的是要找出存放文档的服务器的目录,后续将以该服务器为攻击重点。 02 定位内部人事组织结构 1....总体来说,不管什么途径获得的内网机器,首先需要知道的就是这台机器所属人员的职位、权利,通常一个高权利的人他在内网的权限比一般员工要高很多,他的电脑内也会有很多重要的、敏感的个人隐私文件、或公司内部文件、

    2K10

    买域名哪里好?域名供应商的选择标准是什么?

    对于想要在网络上建设网站的用户而言,首先需要为网站购买一个合法的域名,不过很多人对于购买域名并没有实际的经验,因此往往不知道在哪里才能买到需要的域名。那么买域名哪里好?域名供应商的选择标准是什么?...买域名哪里好呢 域名是外部用户访问用户网站的地址,只有准确的地址才能够让别人进入自己的网站,并且域名和网址并不是相等的关系,域名需要经过解析才能够获得网址。...域名的选择标准 很多人在网络上查找后会发现,提供域名的域名供应商在网络上是非常多的,那么买域名哪里好?域名供应商如何来选择呢?...其实有心的用户会发现,网络上的域名供应商虽然多,但不少域名供应商的都只是代理的性质,所提供的域名种类相对比较少,因此在选择域名供应商时应当尽量挑选那些一级域名商,这样可以选择的域名种类会更加丰富。...买域名哪里好?如何挑选域名供应商?

    26.7K10

    python实现数据的脱敏

    背景上一篇文章讲到了《一个注解,实现数据脱敏》,其实用起来还是相当的方便。那shigen是一个喜欢倒腾的人,对于python的接口,如何实现数据的脱敏呢?...我找了很久的教程,发现关于这部分的资料并不多,而且大部分的都是手写脱敏算法的。最终我也妥协了,我使用的是正则表达式实现数据的脱敏。...本文中,将使用flask+faker实现一个接口,再用正则表达式加工一下,它返回脱敏后的随机数据。...代码实现定义一个通用的正则表达式匹配工具实现的是将符合规则的数据变成脱敏之后的数据图片不得不说,还是很考验正则表达式的功底的,但是shigen的这个还是可以做到通用的,建议拿来就用。...:图片图片总结以上就是《python实现数据脱敏》的全部内容了,觉得不错的伙伴记得点赞 在看 关注 分享哈,你的鼓励是shigen不断更新的动力。

    1K30

    哪里有服务好的应用性能监控 监控告警的途径有哪些?

    否则在各种同类软件不断刷新的当今,一个无法给用户提供较好体验的软件自然会被淘汰。哪里有服务好的应用性能监控呢?...哪里有服务好的应用性能监控 对于哪里有服务好的应用性能监控这个问题,现在应用市场已经出了很多的类似软件。...一些大的软件制造商或者云服务器商家出产的应用性能监控,一般可信度和质量是比较高的,它们拥有的研发平台是高科技的技术团队,对系统的研发和细节设置肯定是一般的小厂家所不能比的。...上面已经解决了哪里有好的应用性能监控的问题,性能监控在对应用进行实时分析和追踪的过程当中,如果发现了问题,它的报警渠道都有哪些呢?...以上就是哪里有服务好的应用性能监控的相关内容,随便在搜索引擎上搜索一下就会有很多品牌正规的监控软件出现,用户们按需选择就可以了。

    12.4K30
    领券