互联网时代,大数据扮演着极为重要的角色;腾讯作为中国最大社交平台,具备最具权威、代表性的互联网大数据。数据平台部TDW作为公司级的海量数据存储和计算平台,集中了公司90%以上产品(近400款)的核心数据,覆盖全部BG,积累约4000个开发者,如何保障如此之多的用户安全合理地使用这么丰富珍贵的数据?本文将从数据生命周期(传输—>存储—>使用)角度揭密数平的数据安全体系如何为腾讯大数据保驾护航。
1 传输安全
所有数据通过tdbank自动采集接入,只要告诉TDBank数据在哪里,数据是什么,数据要怎么用,TDBank就会自动完成一整套的数据采集分拣和处理流程,无需人工干预, 缩短流程,降低风险。
针对敏感数据,在通道中设置加密,密钥由数据owner掌握,同时TDW支持运行加密数据的sql,数据在TDW中可用但不可见,犹如数据咖啡馆,既让数据流动碰撞发挥价值,又保护了数据安全。
2 系统安全
2.1 洋葱入侵检测
TDW所有机器在机器初始化后默认安装洋葱客户端,上报所有用户行为数据至洋葱服务端,并对行为分析、分类,针对对检测入侵行为链和对敏感操作进行有效监控、分析、告警。
2.2 铁将军管理
通过接入铁将军系统,建立帐号管理、权限管理及运维审计体系:
3 存储安全
数据量大(volume)且类型繁多(Variety)是大数据的两大特征,这为数据应用带来了福音。同时,对于大数据存储来说,这是一项大的考验,如此大而全的数据我们如何保证数据的完整存储,不丢失,不删除?
3.1 多副本存储,防止数据丢失
3.2 多层保护,防止数据删除
3.2.1 防 DB删除
对于database层的目录,在源码中进行保护,设置目录删除黑名单,要删除database或者目录,需要更改源码,并且重启服务
3.2.2 防table删除
4 使用安全
TDW中数据的产品线众多,用户也来源于各个不同的产品,自然而然,数据共享的需求日益增多,那么如何做到数据共享的同时保障数据安全可控呢?下面将从数据使用这个动作的三个要素(who, what,where)来说明如何保障数据的使用安全。
4.1 who --谁可以使用
平台秉承开放的心态,拥抱公司内部所有用户。但鉴于安全考虑,平台各子系统均对用户身份进行双重验证,通过认证的用户方可使用平台。此外,经过各系统严谨的鉴权校验后,方能真正触达目标数据。
同时,账户实行个人实名精细化管理,保证系统内所有操作记录均可追踪到个人。
4.2 what—可以使用什么数据
不同的用户对数据需求不同,用户按需申请使用权限。其中,不同级别数据权限流程不同,不同类别数据的权限类型不同。
4.3 where—在哪里使用
非tdw系统的ip不能直接访问。
4.4 how — 审计用户如何使用
平台提供用户全流程操作记录审计功能,用户拥有哪些权限,使用哪些表,什么时间,在哪个系统进行了什么操作均有迹可循。