首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

大厂也在用的 6种 数据脱敏方案,严防泄露数据的 “内鬼”

数据脱敏也叫数据的去隐私化,在我们给定脱敏规则和策略的情况下,对敏感数据比如 手机号、银行卡号 等信息,进行转换或者修改的一种技术手段,防止敏感数据直接在不可靠的环境下使用。...有时我们可能需要将生产环境的数据 copy 到测试、开发库中,以此来排查问题或进行数据分析,但出于安全考虑又不能将敏感数据存储于非生产环境,此时就要把敏感数据从生产环境脱敏完毕之后再在非生产环境使用。...动态数据脱敏 动态数据脱敏(DDM):一般用在生产环境,访问敏感数据时实时进行脱敏,因为有时在不同情况下对于同一敏感数据的读取,需要做不同级别的脱敏处理,例如:不同角色、不同权限所执行的脱敏方案会不同。...[原始数据] 1、无效化 无效化方案在处理待脱敏的数据时,通过对字段数据值进行 截断、加密、隐藏 等方式让敏感数据脱敏,使其不再具有利用价值。...比如下边的日期字段create_time中 2020-12-08 15:12:25 变为 2018-01-02 15:00:00。

1.5K30

大厂也在用的 6种 数据脱敏方案,别做泄密内鬼

数据脱敏也叫数据的去隐私化,在我们给定脱敏规则和策略的情况下,对敏感数据比如 手机号、银行卡号 等信息,进行转换或者修改的一种技术手段,防止敏感数据直接在不可靠的环境下使用。...有时我们可能需要将生产环境的数据 copy 到测试、开发库中,以此来排查问题或进行数据分析,但出于安全考虑又不能将敏感数据存储于非生产环境,此时就要把敏感数据从生产环境脱敏完毕之后再在非生产环境使用。...动态数据脱敏 动态数据脱敏(DDM):一般用在生产环境,访问敏感数据时实时进行脱敏,因为有时在不同情况下对于同一敏感数据的读取,需要做不同级别的脱敏处理,例如:不同角色、不同权限所执行的脱敏方案会不同。...原始数据 1、无效化 无效化方案在处理待脱敏的数据时,通过对字段数据值进行 截断、加密、隐藏 等方式让敏感数据脱敏,使其不再具有利用价值。...比如下边的日期字段create_time中 2020-12-08 15:12:25 变为 2018-01-02 15:00:00。

1.8K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    大厂也在用的 6 种 数据脱敏方案,别做泄密内鬼

    数据脱敏也叫数据的去隐私化,在我们给定脱敏规则和策略的情况下,对敏感数据比如 手机号、银行卡号 等信息,进行转换或者修改的一种技术手段,防止敏感数据直接在不可靠的环境下使用。...有时我们可能需要将生产环境的数据 copy 到测试、开发库中,以此来排查问题或进行数据分析,但出于安全考虑又不能将敏感数据存储于非生产环境,此时就要把敏感数据从生产环境脱敏完毕之后再在非生产环境使用。...动态数据脱敏(DDM):一般用在生产环境,访问敏感数据时实时进行脱敏,因为有时在不同情况下对于同一敏感数据的读取,需要做不同级别的脱敏处理,例如:不同角色、不同权限所执行的脱敏方案会不同。...原始数据 1、无效化 无效化方案在处理待脱敏的数据时,通过对字段数据值进行 截断、加密、隐藏 等方式让敏感数据脱敏,使其不再具有利用价值。...比如下边的日期字段 create_time 中的 2020-12-08 15:12:25 变为 2018-01-02 15:00:00。

    9610

    大数据平台数据脱敏介绍

    大家好,又见面了,我是你们的朋友全栈君。 数据脱敏(Data Masking),又称数据漂白、数据去隐私化或数据变形。...可以看到数据脱敏具有几个关键点:敏感数据、脱敏规则、使用环境。...替换算法即将需要脱敏的部分使用定义好的字符或字符串替换,生成类算法则更复杂一些,要求脱敏后的数据符合逻辑规则,即是“看起来很真实的假数据”。 使用环境,主要指脱敏之后的数据在哪些环境中使用。...在最近一期的Gartner关于数据脱敏的报告(Magic Quadrant for Data Masking Technology-2014年12月)中根据数据脱敏产品应用场景的将数据脱敏划分为静态数据脱敏...动态数据脱敏(DDM)一般用在生产环境,在访问敏感数据当时进行脱敏,一般用来解决在生产环境需要根据不同情况对同一敏感数据读取时需要进行不同级别脱敏的问题。

    2.3K40

    数据杂谈|数据治理中敏感数据保护的探讨

    所以,如果我们能在设计阶段就埋下“监控点”,接口就会拥有一双“火眼金睛”,随时监测健康状态,及时发现瓶颈,进行针对性优化。...引言 在IT软件开发中,敏感数据困扰我们很久了,例如近期很火热的事件之一——白纸签名是否在敏感数据上出了问题?此时的敏感数据便是——姓名(签名)。...何为敏感数据 从百度百科上面搜索到的敏感数据的定义如下: 敏感数据是指泄漏后可能会给社会或个人带来严重危害的数据。...数据脱敏:对敏感信息进行处理,以使其无法被直接识别,从而保护用户隐私和企业的敏感数据。数据脱敏有两种技术路线,一种是静态脱敏,另外一种是动态脱敏。...数据脱敏与差分隐私:对敏感数据进行脱敏处理,如替换、屏蔽、加密等,保护数据的隐私性。在数据分析和共享过程中,可以采用差分隐私技术,在保证数据分析结果准确性的前提下,保护数据的隐私性。

    19910

    Java 数据脱敏?别慌,掩护队已经上线!

    引言大家好!今天我们要聊一聊数据脱敏。这个词听起来像特工电影里的高科技武器,其实它就是给敏感数据穿上“伪装衣”,防止“坏人”偷窥。无论是银行账号、身份证号码、邮箱地址,这些信息都需要时刻保持低调。...所以无论是保护个人隐私还是遵守法律法规,数据脱敏都是必要的手段。3. Java 数据脱敏的常用方式Java 提供了多种数据脱敏方式,今天咱们来聊几种经典实用的“伪装术”。...3.1 字符遮盖法(Masking)这是最常见的脱敏手段之一,简单粗暴。通过用“*”或者其他字符代替敏感数据的中间部分,数据仍然保留部分可识别信息,但不会透露完整内容。...) 12...cardNumber.length() 12

    14000

    金融科技&大数据产品推荐:金蜂巢大数据集成与脱敏系统

    脱敏后的数据主要用于:测试,开发,培训,外包,数据挖掘、研究等。数据脱敏的难点是保持数据的完整性,与数据加密有所不同数据脱敏是一个不可逆的过程。屏蔽非生产环境数据中敏感数据是做好数据安全工作的基础。...针对测试数据管理和敏感数据屏蔽提供统一的元数据管理,从而方便元数据的安装、使用、备份和维护,工具具备高可扩展的架构,可支持多个数据库的数据抽取和数据脱敏。...在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用。这样,就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。...搭建了统一的敏感数据屏蔽运维管理方案 针对业务系统都实现测试数据的管理; 提高了效率 加快了测试数据发布的速度;建立了自动化的数据漂白流程,规范了生产数据的使用; 保持数据的有效性 确保了脱敏后系统内部以及业务系统之间的业务关联性...- 所属企业及介绍 - 网智天元科技集团股份有限公司是中国新三板大数据智能第一股,是中国领先的大数据智能软件与服务器供应商,专业提供金融行业大数据解决方案及大数据增值服务,是中关村高新技术企业、国家双软认证企业和国家高新技术企业

    1.1K70

    工作常备:自定义注解实现数据脱敏

    引言今天,我们将深入探讨如何自定义注解来实现对敏感数据的脱敏处理。...在当今数据安全越来越受到重视的背景下,许多企业都对敏感数据的保护有着严格的要求,尤其是在处理涉及个人隐私、财务信息等敏感数据时,脱敏成为了一个至关重要的环节。...好的,我们编写一下:public class DesensitizeJsonSerializerByTelNo extends JsonSerializer { @Override...总结在数据安全日益重要的今天,敏感数据的脱敏处理显得尤为关键,尤其是在涉及个人隐私和财务信息时。本文探讨了如何通过自定义注解,在不引入第三方库的情况下,使用Spring框架进行数据脱敏处理。...我们通过具体的示例展示了如何为常见的敏感数据类型(如电话号码、身份证、电子邮件等)编写自定义注解,并在序列化过程中应用脱敏规则。通过这些注解,敏感信息可以在数据返回前端时自动进行脱敏,避免泄露。

    20630

    学一招,利用MySQL函数实现数据脱敏

    前言 一 什么是数据脱敏? 二 姓名脱敏小案例 2.1 定长脱敏 2.2 非定长脱敏 三 函数释义 前言 大家好,我是麦洛,前几天项目中用到了姓名脱敏,要保留头和尾,中间填充不定数量的'*'。...数据脱敏(Data Masking),顾名思义,是屏蔽敏感数据,对某些敏感信息(比如,身份证号、手机号、卡号、客户姓名、客户地址、邮箱地址、薪资等等 )通过脱敏规则进行数据的变形,实现隐私数据的可靠保护...业界常见的脱敏规则有,替换、重排、加密、截断、掩码,用户也可以根据期望的脱敏算法自定义脱敏规则。...img 二 姓名脱敏小案例 2.1 定长脱敏 所谓定长脱敏,就是替换的'*'的长度固定,效果如下图所示 SELECT CONCAT( LEFT ( real_name, 1 ), '*', RIGHT...例如: SELECT RPAD(123, 6, '0') AS str1, RPAD(123, 2, '0') AS str1; |str1 |str1| ----+----+ |123000|12

    2.7K20

    如何使用Sentry实现HiveImpala的数据脱敏

    灵活的数据脱敏方案应该是底层数据真实的值没有被脱敏,当有用户查询数据时则判断是否屏蔽,取决于用户的具体权限。我们可以使用Sentry控制视图的权限来实现数据脱敏。...cd datamasking/ [root@ip-172-31-16-68 datamasking]# ll total 8 -rw-r--r-- 1 root root 97 Mar 15 23:12...当然Group A也被授权可以访问视图employees_masked,比如他想将数据下发时做敏感数据脱敏,则也可以从这个视图里取出数据。...而Group B只能访问employees_masked视图里的数据,这个是有敏感数据被屏蔽了的,因为Sentry的控制,他没权限直接访问employees表或者通过HDFS文件去获取真实的被屏蔽的值。...regexp_replace()函数通过正则表达式的方式敏感数据屏蔽,也可以通过自定义的UDF函数来等方式来实现敏感数据脱敏。

    3.2K60

    Shire 0.5 发布:构建数据安全 RAG,充分整合研发资产

    可以对数据进行脱敏处理。 自定义 .shireSecretPattern.yaml。用于定义自定义的敏感数据规则。 有了这些新能力,你可以快速、安全地构建自己的 AI 编码智能体。...在 redact 函数中, 我们使用 db/pii-stable.yml 作为敏感数据的配置文件, 用于对数据进行脱敏处理。 普通变量使用示例: --- variables: "var2": /....你可以在项目中新建一个 .shireSecretPattern.yaml结尾的文件,用于定义自定义的敏感数据规则,如: Phodal.shireSecretPattern.yaml。...在该文件中,你可以定义一些敏感数据的规则,如: patterns: - pattern: name: Slack Token regex: "(xox[pborsa]-[0-...9]{12}-[0-9]{12}-[0-9]{12}-[a-z0-9]{32})" confidence: high 随后,Shire 将会在处理数据时,自动对匹配到的数据进行脱敏处理。

    6610

    浅析金融大数据安全

    大数据平台中包含了大量敏感数据,如何能够既不影响业务开发,又能保障安全性,这就需要进行数据脱敏。 脱敏有几件事情要做,首先关键表关键字段的脱敏。...在有些行业,银行卡号、身份证等信息都需要脱敏。所谓脱敏是指隐去这些信息。 但是,脱敏不能简单的将关键信息用星号脱敏,如果一张表的name字段全是*,业务分析就无法进行了,这就需要有一个替换和映射。...其次但某些业务的需要,例如风控案件调查,一定是需要欺诈分子的真实信息,脱敏后案件就无法跟踪下去了,这就需要有控制的对部分人员开放敏感数据,又要保证这些数据不会出去。...这就需要控制好信息的输出,例如CASE是由用户触发,而不是客服触发。 对客户的敏感个人信息要进行界面脱敏,外呼电话可通过隐匿后的软电话按钮呼出。这需要对客服系统进行敏感信息保护的改造。...三、办公网安全 传统金融机构对办公终端的管理都比较完善,甚至双网双机。一些互联网公司在这方面反倒有所欠缺。

    1.3K60

    腾讯云访问安全代理(CASB)获雷锋网GAIR2021最佳云安全产品奖

    12月9日-11日,第六届全球人工智能与机器人大会GAIR2021在深圳如期举行。会上公布了2021最佳AI数字化年度榜,腾讯云访问安全代理(CASB)获数据安全与隐私计算领域最佳云安全产品奖。...此次入选最佳云安全产品奖的腾讯云访问安全代理(CASB),是腾讯安全云鼎实验室推出的以数据安全治理为中心的一站式云原生数据安全方案,并于近日通过中国信通院 “数据安全产品检验”评审会数据动态脱敏能力评测...比如企业不清楚自身业务的数据采集规范、敏感数据定义以及相应数据的安全保护策略,会带来非常大的合规治理风险。 在技术方案面临的挑战,包括三个层面。...方案核心价值 1、一站式数据安全 将敏感数据发现与分类分级、数据加密存储、数据动态脱敏、访问控制、数据安全审计五项数据安全核心进行融合,一次集成即可 2、安全能力轻量化 云原生数据安全能力,高性能,高稳定性...3、字段级安全管控 支持敏感数据发现,可针对敏感数据进行加解密、动态脱敏和访问控制处理,管控颗粒度可到字段级。

    62650

    MySQL之父好评,开源社区点赞的背后,这帮人做了哪些事?

    跨可用区实例间如何避免双写,是保证数据一致性的关键问题。为此,TXSQL内核全版本实现了work mode工作模式和租约机制。当可用区隔离时,单可用区内的机器可能是连通的,可用区间网络不通。...1 企业级数据安全 数据安全重于泰山,围绕数据安全,腾讯云数据库MySQL联合数据库智能管家DBbrain孵化出了一系列数据库安全功能,例如:数据库审计、透明数据加密、敏感数据发现以及数据脱敏等,逐步形成了一套数据库安全整体解决方案...三、敏感数据发现 DBbrain为腾讯云数据库MySQL专属打造的敏感数据发现功能,通过识别规则自动发现实例敏感数据,并对所发现的敏感数据实现自动化分类分级保护。...•敏感数据发现依托内置规则或用户自定义规则,对发现的敏感数据进行分类分级,并通过图形报表与文本列表将全局各类别、各级别的敏感信息进行可视化展示。...四、数据脱敏 DBbrain为腾讯云数据库MySQL专属打造的数据脱敏功能,其内置多种高级脱敏算法,可智能化执行与管理脱敏任务,针对不同业务场景实现数据脱敏,进而达到企业核心数据保密的效果。

    94630

    透过隐私合规,看数据安全技术发展趋势

    敏感数据全生命周期的安全防护 包括数据分类、文件分析(针对非结构化敏感数据的识别)、动态脱敏(DDM)、保留格式加密(FPE)和数据销毁(Data sanitization)。...识别完成后,为降低敏感数据在二次使用和流通过程(非生产环境,比如数据分析、测试等)的法规风险,大量的数据脱敏需求应运而生。数据脱敏按处理结果是否可还原可分为可逆脱敏和不可逆脱敏技术。...可逆脱敏可以理解为企业通过建立一些敏感词的映射表替换为其他非敏感数据,通过反向映射表可将脱敏数据恢复为原始数据。不可逆脱敏技术包含的策略丰富灵活,包括取整、量化、泛化、屏蔽、截断、散列和加噪等。...作为两类基础性的合规产品——敏感数据识别和数据脱敏,国内外市场日趋成熟。...国内绿盟科技推出了IDR产品,可应用在传统数据库和大数据平台的敏感数据发现与分类分级场景中,安华金和推出数据库脱敏相关产品,可应用结构化数据的脱敏应用中。

    2K50

    互联网公司数据安全保护新探索

    在当前形势下,互联网公司也基本达成了一个共识:虽然无法完全阻止攻击,但底线是敏感数据不能泄漏。也即是说,服务器可以被挂马,但敏感数据不能被拖走。...1.5 数据脱敏 在应用系统中,总会有很多用户敏感数据。应用系统分为对内和对外,对外的系统脱敏,主要是防止撞号和爬虫。对内的系统脱敏,主要是防止内部人员泄漏信息。 对外系统的脱敏保护,可以分层来对待。...检测之后要做的事情,则是进行脱敏处理。脱敏过程需要与业务方沟通明确好,哪些字段必须强制完全脱敏,哪些是半脱敏。...2.1 数据脱敏 数据仓库的脱敏是指对敏感数据进行变形,从而起到保护敏感数据的目的,主要用于数据分析人员和开发人员对未知数据进行探索。...另外复制一张表脱敏,是比较彻底的方式,但等于每张敏感数据表都要复制出来一份,对存储是个成本问题。而视觉脱敏,则是通过规则,动态的对数据展现进行脱敏,可以较低成本的实现脱敏效果,但存在被绕过的可能性。

    1.2K91

    《2023中国数据智能产业图谱2.0版》重磅发布

    本年度下一次版本迭代将于2023年12月底发布2023年3.0版,敬请期待,欢迎报名。 大数据产业创新服务媒体 ——聚焦数据 · 改变商业 随着AI技术的发展,数据也迎来了智能化时代。...,搭建5-8套好店选址模型。...网智天元科技集团股份有限公司成立于2007年,是中关村高新技术企业、国家双软认证企业、国家高新技术企业和西藏专精特新企业。...,根据国家监管政策及银监会等监管部门针对数据安全管理的要求和指引,协助制定数据脱敏相关管理办法,通过智能化的数据脱敏技术手段,借助系统智能算法和大数据脱敏模型,将行内敏感数据进行脱敏、变形处理,加强数据...、降低敏感数据泄密风险,确保银行的客户资料等敏感信息的安全。

    47210

    浙江大学求是讲席教授任奎:隐私计算的前沿进展

    根据是否脱离生产环境,数据脱敏可以分为动态数据脱敏和静态数据脱敏。前者对敏感数据的查询和调用结果进行实时脱敏。...在访问敏感数据的同时实时进行脱敏处理,可以为不同角色、不同权限、不同数据类型执行不同的脱敏方案,从而确保可用而安全。 后者(静态数据脱敏)是指数据脱敏后分发至测试、开发、数据分析等场景。...目前,浙江大学与阿里巴巴合作开发了DMS数据管理系统,包含了40万个实例、400万数据库、10亿张表,能够实现根据敏感数据自动分级分类、异常访问风险识别等等功能。...——七位大咖论道 |GAIR 2021 2021-12-18 工程院院士孙凝晖:计算机系统的演进规律,从求极致到求通用|CNCC 2021 2021-12-23 CNCC 2021重磅启幕:与John...Hopcroft、孙凝晖等数十位顶级学者,共飨计算机年度盛会 2021-12-17 由于微信公众号试行乱序推送,您可能不再能准时收到AI科技评论的推送。

    1.2K20

    信息泄露渠道及风险感知;数据脱敏规则探讨 | FB甲方群话题讨论

    A12: 感觉API安全要重视起来,这么大量的数据直接搞进去拖库得概率估计比较小,大概率是业务系统得某个接口未授权或水平越权被发现了,让人把数据慢慢给薅走了。...4、控制敏感数据的访问权限、建立审批程序的同时通过内部审核程序定期检查。 5、定期重新进行数据识别、流程识别、风险评估等程序,对比当前安全控制措施的有效性并有针对性的进行改进。...保证脱敏算法安全:脱敏算法的安全性也很重要,需要确保脱敏算法不会被黑客攻击或者破解,以避免数据泄露。...A12: 我看个人信息保护法里面有关于敏感数据匿名化就不是敏感数据了,如果是监管要求,监管拿过去也不能反向解密,这个数据没什么意义呀。 A13: 你想想你的匿名化算法是不是监管批准的?...因此,脱敏的第一步是要识别其中重要数据中的敏感数据,哪些能够脱敏;其次是要前端脱敏还是后端脱敏,是去标识化还是匿名化。要弄清各种含义的区别,对数据采取精细、准确的脱敏策略。

    79030

    首发!腾讯安全云访问安全代理CASB亮相2020 Techo Park,开辟数据加密新思路

    在12月20日由腾讯主办的2020 Techo Park开发者大会安全分论坛上,腾讯安全云鼎实验室针对目前数据安全治理过程中存在的技术规划、合规难题,正式发布了腾讯安全云访问安全代理CASB,利用先进密码技术保护企业的商业数据以及个人信息数据安全...,收敛由敏感数据泄露带来的企业业务运营风险以及数据合规问题。...同时,管理员可对不同的数据库字段(如敏感字段、手机号等)采用不同加密、脱敏、以及密钥策略,实现敏感数据访问授权最小化。...同时,加密性能也可跟随应用服务器线性扩展,满足高性能业务场景敏感数据加密需求。...云数据安全中台能从数据的分类治理、全过程加密、脱敏和访问管控入手,有效帮助企业构筑云原生数据关键链路闭环,有效应对云上数据安全问题。

    58730
    领券