首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

大厂也在用的 6种 数据脱敏方案,严防泄露数据的 “内鬼”

数据脱敏也叫数据的去隐私化,在我们给定脱敏规则和策略的情况下,对敏感数据比如 手机号、银行卡号 等信息,进行转换或者修改的一种技术手段,防止敏感数据直接在不可靠的环境下使用。...有时我们可能需要将生产环境的数据 copy 到测试、开发库中,以此来排查问题或进行数据分析,但出于安全考虑又不能将敏感数据存储于非生产环境,此时就要把敏感数据从生产环境脱敏完毕之后再在非生产环境使用。...动态数据脱敏 动态数据脱敏(DDM):一般用在生产环境,访问敏感数据时实时进行脱敏,因为有时在不同情况下对于同一敏感数据的读取,需要做不同级别的脱敏处理,例如:不同角色、不同权限所执行的脱敏方案会不同。...[原始数据] 1、无效化 无效化方案在处理待脱敏的数据时,通过对字段数据值进行 截断、加密、隐藏 等方式让敏感数据脱敏,使其不再具有利用价值。...比如下边的日期字段create_time中 2020-12-08 15:12:25 变为 2018-01-02 15:00:00。

1.4K30

大厂也在用的 6种 数据脱敏方案,别做泄密内鬼

数据脱敏也叫数据的去隐私化,在我们给定脱敏规则和策略的情况下,对敏感数据比如 手机号、银行卡号 等信息,进行转换或者修改的一种技术手段,防止敏感数据直接在不可靠的环境下使用。...有时我们可能需要将生产环境的数据 copy 到测试、开发库中,以此来排查问题或进行数据分析,但出于安全考虑又不能将敏感数据存储于非生产环境,此时就要把敏感数据从生产环境脱敏完毕之后再在非生产环境使用。...动态数据脱敏 动态数据脱敏(DDM):一般用在生产环境,访问敏感数据时实时进行脱敏,因为有时在不同情况下对于同一敏感数据的读取,需要做不同级别的脱敏处理,例如:不同角色、不同权限所执行的脱敏方案会不同。...原始数据 1、无效化 无效化方案在处理待脱敏的数据时,通过对字段数据值进行 截断、加密、隐藏 等方式让敏感数据脱敏,使其不再具有利用价值。...比如下边的日期字段create_time中 2020-12-08 15:12:25 变为 2018-01-02 15:00:00。

1.6K10
您找到你想要的搜索结果了吗?
是的
没有找到

【技术种草】工作了17年,2021年11是我见过有史以来“撸腾讯云羊毛”最狠的一次!

1、可以放自己的资料,走到哪里都不怕丢文件,一键上传,多爽,速度还快; 2、可以部署一个自己唯一的博客网站; (1)有自己的独立域名; (2)想发什么就发什么,无拘无束(当然了,一定要合法哦); (3)...如果你想了,那么请继续往下看,经过我对比的三大云服务厂商的11优惠政策,带你拿下最爽的服务器!!!!! 为什么今年要撸腾讯云的羊毛呢?...年划算: [image-20211107223545193.png] 再来对比一下服务器参数: 华为云不知道为啥,这次优惠的力度不太大呢。...[image-20211107223717236.png] 因为我主要是为了我的粉丝,粉丝都是个人用户,再加上学生众多,所以我比较推荐腾讯云,总体来说很划算的。...[image-20211108202030045.png] 我买了3年还不到200呢: 如果你购买了3年,那每年就相等于66元了,你看我买了3年,才198元,买一年,真不如3年划算

49.5K30

一名python学习者打开11的正确姿势

打算再等等的商品,准备的时候居然价格涨回去了! 所以别看折扣打得狠,优惠券给得大方,你究竟有占到多少便宜,自己心里还真没点数。...这样,当你打算出手的时候,是不是真的划算就一目了然了。 可惜事实并没有这么简单……你会发现很多商品的价格不是那么容易获取到。...毕竟这也是人家的敏感数据,怎么能轻轻松松全让你扒了去,回头再写篇文章来把平台批判一番? 当然也不是完全没有办法。...等你开发出这套系统,每天自动抓取,明年11的时候就可以更理性地买买买啦!(手动滑稽 什么?你觉得费劲折腾这个并没有什么用? 好吧,你以为我真的是在跟你谈论11怎么省钱吗?...而“11”到底是真的实惠,还是平台和商家的套路,我也一点都不关心。

20.4K70

金融科技&大数据产品推荐:金蜂巢大数据集成与脱敏系统

脱敏后的数据主要用于:测试,开发,培训,外包,数据挖掘、研究等。数据脱敏的难点是保持数据的完整性,与数据加密有所不同数据脱敏是一个不可逆的过程。屏蔽非生产环境数据中敏感数据是做好数据安全工作的基础。...针对测试数据管理和敏感数据屏蔽提供统一的元数据管理,从而方便元数据的安装、使用、备份和维护,工具具备高可扩展的架构,可支持多个数据库的数据抽取和数据脱敏。...在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用。这样,就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。...搭建了统一的敏感数据屏蔽运维管理方案 针对业务系统都实现测试数据的管理; 提高了效率 加快了测试数据发布的速度;建立了自动化的数据漂白流程,规范了生产数据的使用; 保持数据的有效性 确保了脱敏后系统内部以及业务系统之间的业务关联性...- 所属企业及介绍 - 网智天元科技集团股份有限公司是中国新三板大数据智能第一股,是中国领先的大数据智能软件与服务器供应商,专业提供金融行业大数据解决方案及大数据增值服务,是中关村高新技术企业、国家软认证企业和国家高新技术企业

1.1K70

浙江大学求是讲席教授任奎:隐私计算的前沿进展

根据是否脱离生产环境,数据脱敏可以分为动态数据脱敏和静态数据脱敏。前者对敏感数据的查询和调用结果进行实时脱敏。...在访问敏感数据的同时实时进行脱敏处理,可以为不同角色、不同权限、不同数据类型执行不同的脱敏方案,从而确保可用而安全。 后者(静态数据脱敏)是指数据脱敏后分发至测试、开发、数据分析等场景。...目前,浙江大学与阿里巴巴合作开发了DMS数据管理系统,包含了40万个实例、400万数据库、10亿张表,能够实现根据敏感数据自动分级分类、异常访问风险识别等等功能。...---- 推荐阅读 群雄并起,隐私计算创业人的前路在哪里?...——七位大咖论道 |GAIR 2021 2021-12-18 工程院院士孙凝晖:计算机系统的演进规律,从求极致到求通用|CNCC 2021 2021-12-23 CNCC 2021重磅启幕:与John

1.1K20

大数据平台数据脱敏介绍

这样,就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。 可以看到数据脱敏具有几个关键点:敏感数据脱敏规则、使用环境。...在最近一期的Gartner关于数据脱敏的报告(Magic Quadrant for Data Masking Technology-2014年12月)中根据数据脱敏产品应用场景的将数据脱敏划分为静态数据脱敏...静态数据脱敏(SDM)与动态数据脱敏(DDM)主要的区别是:是否在使用敏感数据当时进行脱敏。...静态数据脱敏(SDM)一般用在非生产环境,在敏感数据从生产环境脱敏完毕之后再在非生产环境使用,一般用于解决测试、开发库需要生产库的数据量与数据间的关联,以排查问题或进行数据分析等,但又不能将敏感数据存储于非生产环境的问题...动态数据脱敏(DDM)一般用在生产环境,在访问敏感数据当时进行脱敏,一般用来解决在生产环境需要根据不同情况对同一敏感数据读取时需要进行不同级别脱敏的问题。

2.1K40

如何使用Sentry实现HiveImpala的数据脱敏

灵活的数据脱敏方案应该是底层数据真实的值没有被脱敏,当有用户查询数据时则判断是否屏蔽,取决于用户的具体权限。我们可以使用Sentry控制视图的权限来实现数据脱敏。...cd datamasking/ [root@ip-172-31-16-68 datamasking]# ll total 8 -rw-r--r-- 1 root root 97 Mar 15 23:12...当然Group A也被授权可以访问视图employees_masked,比如他想将数据下发时做敏感数据脱敏,则也可以从这个视图里取出数据。...而Group B只能访问employees_masked视图里的数据,这个是有敏感数据被屏蔽了的,因为Sentry的控制,他没权限直接访问employees表或者通过HDFS文件去获取真实的被屏蔽的值。...regexp_replace()函数通过正则表达式的方式敏感数据屏蔽,也可以通过自定义的UDF函数来等方式来实现敏感数据脱敏

3.1K60

用户敏感信息展示脱敏

脱敏是一种常用的保护用户隐私的方式,它的目的是减少潜在的风险,同时保持一定的用户信息可读性。 比如咱们在选择用户信息以及展示选座信息时,用户证件号码的脱敏展示。...为此,我想是否存在一种更为轻量级的脱敏技术实现?在网上搜索后,找到了一种比较符合我预期的实现方案:Jackson序列化方案。...扩展思考 对接前端的敏感数据脱敏展示功能做到上面这些就已经实现了。但是总感觉哪里不对 举个例子 :在购票服务中,下单接口会调用乘车人详细信息接口获取到手机号、证件号等信息保存入库。...如果我在后端服务里去调用乘车人的信息接口,那岂不是也是脱敏的?这样的话,存储到数据库的数据就不准确了,期望是真实的数据,但是实际是脱敏后的。...解决方案 :基于这种真实情况,我们拆分一个新的实体,叫做 XxxDTO,返回的信息是不脱敏的。

49220

数据安全小结

3、透明——报告数据从哪里来、如何被使用和销毁 (1)数据生命周期管理:理解大数据平台中数据的来源,以及知道数据怎么被使用的,何人在何地对其进行销毁,对监测大数据系统中是否存在非法数据访问非常关键,这需要通过安全审计来实现...4、数据——数据加密和脱敏;多租户隔离;数据侵权保护;容灾管理 (1)数据加密:提供数据在传输过程及静态存储的加密保护,在敏感数据被越权访问时仍然能够得到有效保护。...在数据加解密方面,能通过高效的加解密方案,实现高性能、低延迟的端到端和存储层加解密(非敏感数据可不加密,不影响性能)。...此外,加解密对上层业务透明,上层业务只需指定敏感数据,加解密过程业务完全不感知。 (2)用户隐私数据脱敏:提供数据脱敏和个人信息去标识化功能,提供满足国际密码算法的用户数据加密服务。

97120

腾讯云访问安全代理(CASB)获雷锋网GAIR2021最佳云安全产品奖

12月9日-11日,第六届全球人工智能与机器人大会GAIR2021在深圳如期举行。会上公布了2021最佳AI数字化年度榜,腾讯云访问安全代理(CASB)获数据安全与隐私计算领域最佳云安全产品奖。...此次入选最佳云安全产品奖的腾讯云访问安全代理(CASB),是腾讯安全云鼎实验室推出的以数据安全治理为中心的一站式云原生数据安全方案,并于近日通过中国信通院 “数据安全产品检验”评审会数据动态脱敏能力评测...比如企业不清楚自身业务的数据采集规范、敏感数据定义以及相应数据的安全保护策略,会带来非常大的合规治理风险。 在技术方案面临的挑战,包括三个层面。...方案核心价值 1、一站式数据安全 将敏感数据发现与分类分级、数据加密存储、数据动态脱敏、访问控制、数据安全审计五项数据安全核心进行融合,一次集成即可 2、安全能力轻量化 云原生数据安全能力,高性能,高稳定性...3、字段级安全管控 支持敏感数据发现,可针对敏感数据进行加解密、动态脱敏和访问控制处理,管控颗粒度可到字段级。

60350

11 特供!临战前收下这几款小程序,分分钟省下一个亿

不买便宜的,只对的 当降价,刷口碑,各种眼花缭乱的宣传扑面而来时,会被太多信息淹没。小程序「什么值得」帮你从众多选择中过滤,做出有价值的消费。前看一看,无论在哪里下单,都可以当作参考。...时效性攻略负责满足眼下最痛的痛点,像 11.11 刷什么卡优惠最多,宝宝安全座椅选 11 购指南,实实在在的干货贴。...「什么值得」小程序使用链接 https://minapp.com/miniapp/4724/ 不得不说,这款小程序在前的确是个实用的工具。 放宽心,不纠结 有这样一句话是:成大事者不纠结。...那么问题来了,费心挑了不少优价好物,怎么才能最划算,对得起节日做活动的优惠? 「消费分期计算器」这款小程序就是帮你理性消费的高效工具。算计好,省下一波可以再买买买。

56.8K40

MySQL之父好评,开源社区点赞的背后,这帮人做了哪些事?

跨可用区实例间如何避免写,是保证数据一致性的关键问题。为此,TXSQL内核全版本实现了work mode工作模式和租约机制。当可用区隔离时,单可用区内的机器可能是连通的,可用区间网络不通。...1 企业级数据安全 数据安全重于泰山,围绕数据安全,腾讯云数据库MySQL联合数据库智能管家DBbrain孵化出了一系列数据库安全功能,例如:数据库审计、透明数据加密、敏感数据发现以及数据脱敏等,逐步形成了一套数据库安全整体解决方案...三、敏感数据发现 DBbrain为腾讯云数据库MySQL专属打造的敏感数据发现功能,通过识别规则自动发现实例敏感数据,并对所发现的敏感数据实现自动化分类分级保护。...•敏感数据发现依托内置规则或用户自定义规则,对发现的敏感数据进行分类分级,并通过图形报表与文本列表将全局各类别、各级别的敏感信息进行可视化展示。...四、数据脱敏 DBbrain为腾讯云数据库MySQL专属打造的数据脱敏功能,其内置多种高级脱敏算法,可智能化执行与管理脱敏任务,针对不同业务场景实现数据脱敏,进而达到企业核心数据保密的效果。

91530

透过隐私合规,看数据安全技术发展趋势

敏感数据全生命周期的安全防护 包括数据分类、文件分析(针对非结构化敏感数据的识别)、动态脱敏(DDM)、保留格式加密(FPE)和数据销毁(Data sanitization)。...识别完成后,为降低敏感数据在二次使用和流通过程(非生产环境,比如数据分析、测试等)的法规风险,大量的数据脱敏需求应运而生。数据脱敏按处理结果是否可还原可分为可逆脱敏和不可逆脱敏技术。...可逆脱敏可以理解为企业通过建立一些敏感词的映射表替换为其他非敏感数据,通过反向映射表可将脱敏数据恢复为原始数据。不可逆脱敏技术包含的策略丰富灵活,包括取整、量化、泛化、屏蔽、截断、散列和加噪等。...作为两类基础性的合规产品——敏感数据识别和数据脱敏,国内外市场日趋成熟。...国内绿盟科技推出了IDR产品,可应用在传统数据库和大数据平台的敏感数据发现与分类分级场景中,安华金和推出数据库脱敏相关产品,可应用结构化数据的脱敏应用中。

1.9K50

2017年全球数据泄露成本研究报告解读

针对数据库的漏洞攻击、SQL注入等手段不断升级,目的正是对敏感数据的窃取,这些包含个人隐私或商业机密的数据流入黑产市场,经过多手倒卖,流入更多不法分子手中,震惊全球的雅虎5亿用户信息泄露事件正是源于黑客攻击...数据库脱敏和数据库安全运维产品的出现和应用正是基于此,对敏感数据做变形和漂白后可以放心交给第三方公司使用;即使内部及第三方运维人员拥有DBA高权限账户,依然可以通过基于审批流机制的数据库安全运维系统,对敏感数据的运维操作进行审核和过滤...这一结论与安华金和提出的数据安全治理思路不谋而合,我们认为要实现数据在使用中的安全,首先一步是要了解数据,通过对数据资产进行梳理,发现你的敏感数据资产有多少、分布在哪里,使用情况和访问权限怎样。...这些有价值的安全建议和技术手段并不会花费太大的成本,然而却可以让企业和组织不再为此类负面事件付出数百甚至数千倍的高昂成本,这其中的性价比应该是相当划算的。

1.2K70

都是因为数学不好,美国人不敢吃中餐,中国人不敢过双十一

那么问题来了: 这鸡翅到底怎么划算啊? ? 这个问题也把众多歪果网友难倒了,他们纷纷转发集思广益…目前这条帖子已经被转发了将近6千次。 ?...一个学霸找到了最优方案: 25只以下,就3的倍数只;25只及以上,就25、50或125只,这样的话每只鸡翅的均价都是最低。 ?...11——继高考之后规模最大的数学知识竞赛: 定金100抵200;2件9折,3件8折;抢券满399减100;原价1395,预售价509,领券立减30元;跨店优惠券满200减20……废了九牛二虎之力,好不容易算出了满...399减100最划算,最后你居然告诉我那件衣服卖398?...人这一生走过最艰险的路,就是11网店商家的促销套路,让你们一个个成天不知道好好学习,终于被绕晕了吧?被搞死了吧? ?

11.9K30

【技术种草】一个独立游戏开发者的双十一薅云服务器羊毛实录

image.png 三丶不吹牛,真正意义上的史低 image.png 2C4G1年70元,当年可是1C1G1年70,新用户这个不要太划算。...看看我2019年十一活动的服务器,再看看现在的价格,我的心在流泪啊。...image.png 四丶就送券,只要在活动内服务器,就送MySQL、云硬盘、COS、DDOS防护等优惠券,这个MySQL的和COS的我已经用掉了,嘿嘿嘿。...image.png 六丶老用户也有的薅,最低2.5折优惠,实在是没办法说不香,我已经把前年的服务器续了三年了。...image.png 十、不过如果仅仅只是这样的话,我也不会特地写个文章来介绍它,腾讯云还有个邀新活动,邀请的新用户越多,我就越划算,所以有需求的朋友不妨看看腾讯云 image.png

18.5K130

学一招,利用MySQL函数实现数据脱敏

前言 一 什么是数据脱敏? 二 姓名脱敏小案例 2.1 定长脱敏 2.2 非定长脱敏 三 函数释义 前言 大家好,我是麦洛,前几天项目中用到了姓名脱敏,要保留头和尾,中间填充不定数量的'*'。...数据脱敏(Data Masking),顾名思义,是屏蔽敏感数据,对某些敏感信息(比如,身份证号、手机号、卡号、客户姓名、客户地址、邮箱地址、薪资等等 )通过脱敏规则进行数据的变形,实现隐私数据的可靠保护...业界常见的脱敏规则有,替换、重排、加密、截断、掩码,用户也可以根据期望的脱敏算法自定义脱敏规则。...img 二 姓名脱敏小案例 2.1 定长脱敏 所谓定长脱敏,就是替换的'*'的长度固定,效果如下图所示 SELECT CONCAT( LEFT ( real_name, 1 ), '*', RIGHT...例如: SELECT RPAD(123, 6, '0') AS str1, RPAD(123, 2, '0') AS str1; |str1 |str1| ----+----+ |123000|12

2.4K20

2017年全球数据泄露成本研究报告解读

针对数据库的漏洞攻击、SQL注入等手段不断升级,目的正是对敏感数据的窃取,这些包含个人隐私或商业机密的数据流入黑产市场,经过多手倒卖,流入更多不法分子手中,震惊全球的雅虎5亿用户信息泄露事件正是源于黑客攻击...数据库脱敏和数据库安全运维产品的出现和应用正是基于此,对敏感数据做变形和漂白后可以放心交给第三方公司使用;即使内部及第三方运维人员拥有DBA高权限账户,依然可以通过基于审批流机制的数据库安全运维系统,对敏感数据的运维操作进行审核和过滤...这一结论与安华金和提出的数据安全治理思路不谋而合,我们认为要实现数据在使用中的安全,首先一步是要了解数据,通过对数据资产进行梳理,发现你的敏感数据资产有多少、分布在哪里,使用情况和访问权限怎样。...这些有价值的安全建议和技术手段并不会花费太大的成本,然而却可以让企业和组织不再为此类负面事件付出数百甚至数千倍的高昂成本,这其中的性价比应该是相当划算的。

1K60

数据安全运营视角下的数据资产安全治理

它们在哪里、有什么风险、是否有保护措施都不是很清楚。 Q(Question)疑问:有什么办法能全局收敛这类风险呢?...本文主要以敏感数据资产为中心,通过涉敏资产识别、评估风险,及一系列治理措施达到风险收敛目的。...,可以要求业务进行下线、脱敏等最小化处理。...服务层面临的主要风险包括: 接口提供敏感数据没有启用鉴权; 敏感数据明文形式传输; 业务场景启用数据缓存,这部分数据都是明文落地存储,运维人员可获取完整数据; 应用层:主要面向前端,为C端用户、B端商家...、必要性,及对业务反馈的拷问) c.敏感数据流出数据最小化 d.运营平台(高效运营、自动化验收) 外部依赖:流量数据、业务属性信息、业务资源(接口下线、限制字段、字段脱敏) 内部依赖:接口覆盖率、识别准确性

2.9K20
领券