拿什么保护你---TDW数据安全

互联网时代,大数据扮演着极为重要的角色;腾讯作为中国最大社交平台,具备最具权威、代表性的互联网大数据。数据平台部TDW作为公司级的海量数据存储和计算平台,集中了公司90%以上产品(近400款)的核心数据,覆盖全部BG,积累约4000个开发者,如何保障如此之多的用户安全合理地使用这么丰富珍贵的数据?本文将从数据生命周期(传输—>存储—>使用)角度揭密数平的数据安全体系如何为腾讯大数据保驾护航。

1 传输安全

所有数据通过tdbank自动采集接入,只要告诉TDBank数据在哪里,数据是什么,数据要怎么用,TDBank就会自动完成一整套的数据采集分拣和处理流程,无需人工干预, 缩短流程,降低风险。

针对敏感数据,在通道中设置加密,密钥由数据owner掌握,同时TDW支持运行加密数据的sql,数据在TDW中可用但不可见,犹如数据咖啡馆,既让数据流动碰撞发挥价值,又保护了数据安全。

2 系统安全

2.1 洋葱入侵检测

TDW所有机器在机器初始化后默认安装洋葱客户端,上报所有用户行为数据至洋葱服务端,并对行为分析、分类,针对对检测入侵行为链和对敏感操作进行有效监控、分析、告警。

2.2 铁将军管理

通过接入铁将军系统,建立帐号管理、权限管理及运维审计体系:

  • 集中管理账户:实名制用户通过PIN+TOLKEN动态口令进行登录
  • 帐号权限管理:Sudo权限管理
  • 实名审计:实名审计操作行为及可回溯

3 存储安全

数据量大(volume)且类型繁多(Variety)是大数据的两大特征,这为数据应用带来了福音。同时,对于大数据存储来说,这是一项大的考验,如此大而全的数据我们如何保证数据的完整存储,不丢失,不删除?

3.1 多副本存储,防止数据丢失

  • 热数据:3个副本存放在不同机架,任意2台机器故障不会丢数据
  • 冷数据:采用Raid压缩(10数据块+4校验块,可容忍任意4块丢失)
  • 自动修复:系统后台自动扫描,及时修复丢失或损坏的副本,业务无感知

3.2 多层保护,防止数据删除

3.2.1 防 DB删除

对于database层的目录,在源码中进行保护,设置目录删除黑名单,要删除database或者目录,需要更改源码,并且重启服务

  • 防止drop database操作:在TDW中drop database会失败
  • 防止在文件系统中删除目录:在文件系统中,直接删除目录会失败

3.2.2 防table删除

  • 设置回收站,延迟删除
    • 数据并不会被立刻删除,而是移入回收站
    • 数据会在回收站保存大于48小时,大数据需手工确认之后被真正删除
  • 节点延迟删除
    • 先将元数据删除,数据block块延迟一天删除
    • 通过元数据冷备,可以恢复数据

4 使用安全

TDW中数据的产品线众多,用户也来源于各个不同的产品,自然而然,数据共享的需求日益增多,那么如何做到数据共享的同时保障数据安全可控呢?下面将从数据使用这个动作的三个要素(who, what,where)来说明如何保障数据的使用安全。

4.1 who --谁可以使用

平台秉承开放的心态,拥抱公司内部所有用户。但鉴于安全考虑,平台各子系统均对用户身份进行双重验证,通过认证的用户方可使用平台。此外,经过各系统严谨的鉴权校验后,方能真正触达目标数据。

同时,账户实行个人实名精细化管理,保证系统内所有操作记录均可追踪到个人。

4.2 what—可以使用什么数据

不同的用户对数据需求不同,用户按需申请使用权限。其中,不同级别数据权限流程不同,不同类别数据的权限类型不同。

  • 数据分级管理:数据根据不同的敏感度分级管理,不同级别的数据权限需走不同的申请通道,部分敏感数据权限需由部门最高领导人进行审批。
  • 数据分类管理:对于入库层数据,只开放只读权限,防止源数据被污染,保持数据源的完整性。

4.3 where—在哪里使用

非tdw系统的ip不能直接访问。

  • IP白名单控制:只有指定安全IP方可访问数据库,白名单ip都是我们自己的。
  • 平台内流转:数据控制在TDW平台内流转,不流出;
  • 导出申请:如有特殊导出需求,需申请,由上级确认;

4.4 how — 审计用户如何使用

平台提供用户全流程操作记录审计功能,用户拥有哪些权限,使用哪些表,什么时间,在哪个系统进行了什么操作均有迹可循。

  • 权限开放审计:权限系统提供权限开放审计功能,供数据owner审计名下数据权限开放情况,权限管理透明化;针对高敏感表,权限开放实时监控。
  • 使用情况审计: 构建统一操作流水查询系统,各系统的操作流水永久保存;其中针对敏感数据,每日定期统计使用情况,供管理员每日审计。
  • 内部人员审计: 在机器上所有操作都会上报到到审计系统; 对敏感操作实时审计,邮件上级及本人确认。

原文发布于微信公众号 - 腾讯大数据(tencentbigdata)

原文发表时间:2014-11-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏BestSDK

撑起整个互联网的6大服务——Web API

Web API是网络应用程序接口。包含了广泛的功能,网络应用通过API接口,可以实现存储服务、消息服务、计算服务等能力,利用这些能力可以进行开发出强大功能的we...

3866
来自专栏FreeBuf

当“宿主”披上QQ盗号的外衣

导读:生物学上病毒侵入的细胞就叫宿主细胞,而病毒则借助宿主的蛋白质和其他物质制造自己的身体,由于控制细胞增殖的结构基因发生突变,调节系统对它失去控制,结果就会造...

1940
来自专栏安恒信息

解读 | 6个问题深度解读CPU漏洞

近日,谷歌Project Zero安全团队公布了两组CPU特性漏洞,分别命名为Meltdown和Spectre,安恒信息应急响应中心于日前已关注此漏洞并发布漏洞...

3119
来自专栏云计算与大数据

Envoy——Service Mesh体系中的私人订制,把你安排得明明白白!

最近因工作原因开始了解Service Mesh与Envoy,为系统性梳理所学内容,因此沉淀了此文档,但由于所知有限,如文档中有描述不当之处,希望不吝赐教。

3262
来自专栏张戈的专栏

妹子你真萌:一次心惊肉跳的服务器误删文件的恢复过程

刚在我的订阅里面看到这篇文章,在爆笑之余也让跟我一样的运维农民工们发人深省,所以转过来分享一下。妹子啊妹子,网上找的东西也不能直接照搬啊,太萌了~~哈哈! 作者...

63311
来自专栏FreeBuf

给树莓派小车控制系统加上装甲

前不久写了一篇题目为《Windows系统监听键盘通过UDP协议控制树莓派小车》的文章在FreeBuf上发表了,当初设计小车控制系统的时候仅仅是为了实现控制目的而...

1223
来自专栏Debian社区

Greg Kroah-Hartman批评Ubuntu发行版

Ubuntu根本就是个祸害开源社区发行版。资本家是“无利不起早”的。“新人用Ubuntu系列是最不明智的选择,因为很难利用到别人的经验。Ubuntu修改了太多东...

1965
来自专栏FreeBuf

浅谈拒绝服务攻击的原理与防御(4):新型DDOS攻击 – Websocket和临时透镜

0×01 前言 前几天我已经分别发了三篇关于DDOS攻击相关的文章,我也是第一次在freebuf上发表这种文章,没想到有那么多人点击我真的很开心,前几天我为大家...

2395
来自专栏CSDN技术头条

常用物联网应用协议汇总

本文罗列下市面上物联网通信中的各类消息技术-即工作在网络通信的应用层协议,总结下它们各自特点、特定的物联网应用场景等。 这类协议都直接用于在无线或有线网络环境下...

3519
来自专栏编程思想之路

带你解锁蓝牙skill(一)

蓝牙这个专题,很值得深入研究,但又不是一篇两篇能说的清除,所以决定连载~~~ 不知道能坚持多久 在研究蓝牙源码之前,先来看看蓝牙大致都有什么功...

2688

扫码关注云+社区

领取腾讯云代金券