脱敏是一种常用的保护用户隐私的方式，它的目的是减少潜在的风险，同时保持一定的用户信息可读性。 比如咱们在选择用户信息以及展示选座信息时，用户证件号码的脱敏展示。...为此，我想是否存在一种更为轻量级的脱敏技术实现？在网上搜索后，找到了一种比较符合我预期的实现方案：Jackson序列化方案。...扩展思考 对接前端的敏感数据脱敏展示功能做到上面这些就已经实现了。但是总感觉哪里不对 举个例子 ：在购票服务中，下单接口会调用乘车人详细信息接口获取到手机号、证件号等信息保存入库。...如果我在后端服务里去调用乘车人的信息接口，那岂不是也是脱敏的？这样的话，存储到数据库的数据就不准确了，期望是真实的数据，但是实际是脱敏后的。...解决方案 ：基于这种真实情况，我们拆分一个新的实体，叫做 XxxDTO，返回的信息是不脱敏的。
3、透明——报告数据从哪里来、如何被使用和销毁 （1）数据生命周期管理：理解大数据平台中数据的来源，以及知道数据怎么被使用的，何人在何地对其进行销毁，对监测大数据系统中是否存在非法数据访问非常关键，这需要通过安全审计来实现...4、数据——数据加密和脱敏；多租户隔离；数据侵权保护；容灾管理 （1）数据加密：提供数据在传输过程及静态存储的加密保护，在敏感数据被越权访问时仍然能够得到有效保护。...在数据加解密方面，能通过高效的加解密方案，实现高性能、低延迟的端到端和存储层加解密（非敏感数据可不加密，不影响性能）。...此外，加解密对上层业务透明，上层业务只需指定敏感数据，加解密过程业务完全不感知。 （2）用户隐私数据脱敏：提供数据脱敏和个人信息去标识化功能，提供满足国际密码算法的用户数据加密服务。
针对数据库的漏洞攻击、SQL注入等手段不断升级，目的正是对敏感数据的窃取，这些包含个人隐私或商业机密的数据流入黑产市场，经过多手倒卖，流入更多不法分子手中，震惊全球的雅虎5亿用户信息泄露事件正是源于黑客攻击...数据库脱敏和数据库安全运维产品的出现和应用正是基于此，对敏感数据做变形和漂白后可以放心交给第三方公司使用；即使内部及第三方运维人员拥有DBA高权限账户，依然可以通过基于审批流机制的数据库安全运维系统，对敏感数据的运维操作进行审核和过滤...这一结论与安华金和提出的数据安全治理思路不谋而合，我们认为要实现数据在使用中的安全，首先一步是要了解数据，通过对数据资产进行梳理，发现你的敏感数据资产有多少、分布在哪里，使用情况和访问权限怎样。...这些有价值的安全建议和技术手段并不会花费太大的成本，然而却可以让企业和组织不再为此类负面事件付出数百甚至数千倍的高昂成本，这其中的性价比应该是相当划算的。
针对数据库的漏洞攻击、SQL注入等手段不断升级，目的正是对敏感数据的窃取，这些包含个人隐私或商业机密的数据流入黑产市场，经过多手倒卖，流入更多不法分子手中，震惊全球的雅虎5亿用户信息泄露事件正是源于黑客攻击...数据库脱敏和数据库安全运维产品的出现和应用正是基于此，对敏感数据做变形和漂白后可以放心交给第三方公司使用;即使内部及第三方运维人员拥有DBA高权限账户，依然可以通过基于审批流机制的数据库安全运维系统，对敏感数据的运维操作进行审核和过滤...这一结论与安华金和提出的数据安全治理思路不谋而合，我们认为要实现数据在使用中的安全，首先一步是要了解数据，通过对数据资产进行梳理，发现你的敏感数据资产有多少、分布在哪里，使用情况和访问权限怎样。...这些有价值的安全建议和技术手段并不会花费太大的成本，然而却可以让企业和组织不再为此类负面事件付出数百甚至数千倍的高昂成本，这其中的性价比应该是相当划算的。
它们在哪里、有什么风险、是否有保护措施都不是很清楚。 Q（Question）疑问：有什么办法能全局收敛这类风险呢？...本文主要以敏感数据资产为中心，通过涉敏资产识别、评估风险，及一系列治理措施达到风险收敛目的。...，可以要求业务进行下线、脱敏等最小化处理。...服务层面临的主要风险包括： 接口提供敏感数据没有启用鉴权； 敏感数据明文形式传输； 业务场景启用数据缓存，这部分数据都是明文落地存储，运维人员可获取完整数据； 应用层：主要面向前端，为C端用户、B端商家...、必要性，及对业务反馈的拷问） c.敏感数据流出数据最小化 d.运营平台（高效运营、自动化验收） 外部依赖：流量数据、业务属性信息、业务资源（接口下线、限制字段、字段脱敏） 内部依赖：接口覆盖率、识别准确性
根据是否脱离生产环境，数据脱敏可以分为动态数据脱敏和静态数据脱敏。前者对敏感数据的查询和调用结果进行实时脱敏。...在访问敏感数据的同时实时进行脱敏处理，可以为不同角色、不同权限、不同数据类型执行不同的脱敏方案，从而确保可用而安全。 后者（静态数据脱敏）是指数据脱敏后分发至测试、开发、数据分析等场景。...例如数据一致性脱敏、遮蔽脱敏、保持数据格式脱敏、泛化脱敏、保持数据特征脱敏等等。...目前，浙江大学与阿里巴巴合作开发了DMS数据管理系统，包含了40万个实例、400万数据库、10亿张表，能够实现根据敏感数据自动分级分类、异常访问风险识别等等功能。...---- 推荐阅读 群雄并起，隐私计算创业人的前路在哪里？
所幸的是，虽然我并没有买其他的安全产品，但是基础的安全规范还是做了，并没有造成太大的影响。 ...网络防御这块，除了买，好像没什么其他的办法，比如 DDoS。 当然，除了 DDoS 这类攻击外，暴力破解也是常有的事，如果不嫌麻烦，可以自己去封禁 IP，其结果是真麻烦。 ...数据安全 数据安全牵扯的就比较多，常规主要以下几种： 防止 SQL 注入 敏感数据脱敏 数据库审计 访问控制 备份冗余 这里以数据库为例，我们主要按以下规则进行处理： 使用数据库堡垒机，所有操作都通过数据库堡垒机进行...原则上不开放读写权限给个人用户 应用建议一个应用一个账号原则 要对敏感数据进行脱敏处理 最后 大家有没有发现，安全拼到最后都是 RMB，当 RMB 都不能解决的时候，就拼人脉了。
在这以前，我们先来了解一下公司比较常见的数据泄露种类，主要包含：1.未授权的非法访问数据；2.被越权查询的敏感数据；3.将敏感数据发送给其他收件人；4.用户经常受到境外香港的诈骗电话或者推销电话；5.核心数据被篡改...1.发觉公司的敏感数据在网络上泄露；2.看到有未授权的服务器下载记录；3.发觉有人点开了来路不明的邮件附件；4.看到有不正常的远程IP登录服务器（windows+Linux）；5.发现网站有被黑客入侵的痕迹...，比如上传了webshell、网站木马；6.发觉服务器的事件日志被篡改；7.多次DDoS攻击让安全公司没时间顾及实际攻击；数据泄露安全应急处置的办法要溯源跟踪数据泄露的根源在哪里，通过我们SINE安全十多年的安全经验来分析...除此之外，即便在抑制数据泄露以后，也必须要保持警惕，对敏感数据进行脱敏以及数据安全加固，整体的网站安全加固和APP安全防护，才能确保后续不被黑客攻击而导致数据泄露。
• 数据保护：通过数据加密和脱敏两种主要方式从数据层面保护敏感信息不被泄露。数据加密包括在传输过程中的加密和存储加密。...对于敏感信息部分可通过脱敏的方式进行处理以保障信息安全。 • 审计和监控：实时地监控和审计可管理数据安全合规性和安全回溯、安全取证等。...最后，如果缺乏掌握敏感数据在大数据平台中存在于哪里的意识，这将无疑是把数据暴露于风险之下。...所以，掌握敏感数据在大数据平台中分布情况，并能自动地增量式地发现找到敏感数据，并监控其使用情况，是否受到保护是能否做到全面保护数据安全的关键。...数据保护技术通过对数据利用脱敏、失真、匿名化限制发布等技术处理后，可让处理后的数据到达安全交易、开放共享的目的。
且不说如何在海量数据中，准确识别其中的敏感数据，如果靠人工盘点，就连哪里可能存在数据，都有很大的机率遗漏。如何选择合适的技术工具，保证不会重要数据无遗漏，便极为重要。...图1.png 数据安全中心内置丰富的识别规则，用户通过执行识别任务，识别资产中的敏感数据，并进行分类分级。用户可通过“数据资产地图”，从资产的角度，查看数据分类分级结果。...还可以通过“敏感数据检索”，从敏感数据的角度，从所有资产中，检索指定的敏感数据。...对应第二十七条关于技术措施的要求，整合了数据脱敏产品和堡垒机产品，对用户的数据共享和数据运维场景提供安全保障。
即使你负责的数据库具有完全的访问控制和安全性，你也可能需要多种数据脱敏技术来支持应用程序。 例如，你可能需要动态脱敏数据以确保应用程序不会暴露不必要的敏感信息。...为什么需要脱敏数据？ 关于数据的各种规则适用于任何数据库、文件或电子表格。从法律的角度来看，在哪里保存数据并不重要。如果你是组织的一部分，你应该只能访问适合你在组织中角色的信息。...总结: 所有数据都必须以可靠的方式进行管理，无论它在哪里保存。法律并不关心你用什么方法存储数据，只要你这样做了。 如果包含可能获取个人的数据(PII数据)，它必须在任何时候都具有访问限制。...除非包含模式和规范的方法，否则敏感数据可能存在于任何地方，并且可以在多个地方重复。 在具有“非规范化”或包含XML或JSON列的关系型结构数据中，可能会遇到同样的问题。...如果为了开发工作的需要，那么任何敏感数据必须被脱敏。为了培训或用户测试，数据也必须是需要脱敏。为了测试数据的弹性和可伸缩性，数据生成来提供必要的方法。
数据在哪里，加密在哪里，如何组合，是很多加密方案常见错误，这些组合决定了最终的安全性。...4、Masking Masking也是利用非敏感值取代敏感数据，但Masking在保护敏感数据同时又能够保留聚合数据值。...Masking在原数据基础上产生一份新数据，这叫静态Masking，国内称之为静态脱敏。...对应的则是动态脱敏，当数据从db或文件读取时，实时Masking，原文件不变，只有输出结果改变，可以根据用户的身份，例如风控人员得到的是真实数据，普通客服得到的是替换数据。...这时候可以把动态脱敏起到一个代理作用。 从整个行业来看，Tokenization，Masking，FPE也不断的在进步，之间的界限也逐渐模糊。但这些方法，都能在不改变应用的前提下保护敏感数据。
打算再等等的商品，准备买的时候居然价格涨回去了！ 所以别看折扣打得狠，优惠券给得大方，你究竟有占到多少便宜，自己心里还真没点数。...这样，当你打算出手的时候，是不是真的划算就一目了然了。 可惜事实并没有这么简单……你会发现很多商品的价格不是那么容易获取到。...毕竟这也是人家的敏感数据，怎么能轻轻松松全让你扒了去，回头再写篇文章来把平台批判一番？ 当然也不是完全没有办法。...我真正要说的是，如果你学了 Python，却不知道去哪里找项目练手进一步提高，为什么不从身边的需求出发，去开发一些工具，做一点数据的分析。你若完整实现了这样一个项目，去找一份开发工作绝对没有问题。
业务通常会一脸天真的回复“这个表没什么敏感数据，不重要，我们现在就把漏洞修了，安全漏洞通告发给我就行了，别抄给我们领导”。...Part2焦躁的安全工程师收到来自暗网的监控告警，某某公司几亿订单数据泄漏，来自灵魂的拷问“是有内鬼吧，这是哪个库的数据，这么多敏感字段还是明文，之前某次应急 好像在哪里见到过这种字段，难道上次的SQL...:D 感知&盲区 数据安全第一阶段永远离不开的问题，数据在哪里也就是我们常说的对敏感数据的感知能力？只有知道敏感数据在哪里才能将重要的精力资源投入到需要重点保护的数据资产上。...安全团队做到了实时的线上线下敏感数据采集感知，那么下一步就很清晰了，对数据进行分类分级重点关注L3，L4级个人敏感信息、公司级别敏感信息、对敏感数据进行落地加密存储、权限审计、数据库加解密等。...对二次存储分析使用的离线数据进行加密各种的数据脱敏（数据染色），二次使用的数据进行染色大致原则可以这样理解，将数据重新生成，但不影响原有业务开展数据统计分的析结果，例如业务提出的需求“我们需要最近24小时订单分析每个地区的下单情况
1、 在策略层面：由于海量的数据类型，已经很难明确定义什么是高敏感数据了。同时也存在着多个低敏感数据关联后形成高敏感数据的普遍情况，甚至到最后，很难说清楚一个数据究竟有多少来源。...但安全管理本质上是一个运营的管理，就像企业里之前买的各种安全产品，最终能否发挥作用，还依靠日常运维。...除了这些，还有其它让人头疼的各种数据应用场景，比如加密后的搜索、数据脱敏后的聚合隐私泄漏等等，现在都还在研究的概念上，无法落地。...这时候你就要能够立刻知道，数据在哪里，在什么时间什么地点被谁访问过，然后根据这些上下游分析异常，完美的情况下，应该直接根据自动的风险规则来查出异常。...事实上很多公司在数据泄漏后，都无法追责，因为并不知道数据是从哪里泄漏出去的，因为根本不知道数据移动地图是怎样的。 合规性还是主要是指GDPR，定期评估、记录、合规性报告等。
敏感数据有哪些？都存储在哪里？ 2）访问状况不清 访问热度如何？有哪些静默资产？哪些是高频资产？敏感数据都在被谁访问？是否存在僵尸库？ 3）权限状况不清 数据资产的权限变化情况是怎么样的？...4.3 数据业务安全管控能力 目前可用于数据安全管控的技术即成熟又全面，典型的有数据脱敏、数据加密、数据行为管控等等。...第5章 关键数据安全技术 5.1 敏感数据识别和脱敏技术 敏感数据识别技术可以从海量的数据中发现敏感数据，帮助组织建立系统的敏感数据分布视图，同时提供替换、位移、哈希处理、标记化以及保留格式加密等脱敏算法...，有选择性地对敏感数据进行脱敏处理，以防止敏感数据在内部使用、外部共享等环节的泄露。...随着人工智能和机器学习技术的引入，针对不同类别的敏感数据，机器学习技术可以实现大量数据的聚类分析，自动生成分类规则库，敏感数据自动化识别效率和准确率均大幅提升。 数据脱敏技术主要有三种。
各种不同的采集方案应对不同的场景 Agent：类似 filebeat，指定服务器的具体路径，对文件的 inode 节点进行侦听，发现新增立即进行上报数据； SDK：可以嵌入到业务代码逻辑里面，应对一些敏感数据不落地但是又需要上报的场景...，可以在业务逻辑中对敏感数据进行脱敏（染色），然后再进行上报，也可以应对一些日志量太大，不想经过日志落盘这个中间消耗性能环节的场景； 例如：金融交易场景，要对交易数据做监控，但是又有一些敏感数据不想进入监控系统...，这个时候就需要使用SDK在产生日志的时候进行脱敏，将用户信息隐藏掉，再上报到监控系统内部； Kafka：可以应对一份日志多份消费者的场景，可以让业务将日志放入 Kafka 后，多个消费者进行自行提取即可...我们还是以腾讯内部的 自研日志监控系统CMS 为例，日志监控系统是由用户数据上报、数据格式化、处理、聚合（统计、维度分析）、入库/投递、写入时序数据库等多个环节组成，当用户看到最终结果异常如何能快速知道哪里出了问题呢
11.11光棍节已经过去，12.12促销又要到来，回望双十一的疯狂与激情，哪些人在买小米、哪些人在买华为，哪些人在买林志玲，哪些人在买杜蕾斯，都将是有趣的话题。...虽然市面上有不少大数据之类的书籍，但是真正专业电商技术解密和实践案例分享的书籍还真是独此一家，我马上去买几本送给我的程序猿朋友们。...怎么这么多人买肥皂和手纸?是啊，这就是趋势变化，一方面说明京东商城百货化成绩不俗，购物篮丰富度大大提升，另一方面也说明年轻网民们的生活必需品消费也呈现出电商化的趋势。 ?...按道理讲朝阳区北京夜生活最丰富的地区了，曾经的天上人间，灯红酒绿的三里屯都在这里，双十一朝阳区的青年们都跑哪里去了。...比如，虽然网友在早上和深夜下单已经成为习惯，但是移动电商还是带来了不同的东西，数据显示移动端购物呈现出“随看随买”的特点，这样的消费特征让每一个时段的购物频次相当扁平化。
以前在学校用的腾讯1元服务器，但是毕业了就不给用了，自己买又不划算。所以我就想用我的树莓派来作为一个服务器； 树莓派是一个微型电脑，长这样： ?...这个树莓派是以前参加Daocloud的活动送的，买的话加上配件大概250块钱。我的树莓派的配置是1G内存，16G存储，够用。按照Leanote 服务器安装这篇文章作为参考搭建服务器。...其实这个域名和端口都是免费的，可以使用花生壳这个工具来映射端口，免费的，实名认证一下就行，每月有1G免费流量，也送域名；不过我用的是我很久以前买的是花生棒，98块钱，花生棒每月有2G流量。...对于我来说就是花了98块钱买花生棒。所以这笔买卖，划算。 或许有人会吐槽我扣舍不得给leanote充钱，但我想说的是，我这哪里扣啦，我这是精致的生活好吧。 好吧，其实我就是扣。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
