腾讯云丢失数据被索赔1100万!

腾讯方面提出了总金额136,469元的“赔偿+补偿”解决方案,前沿数控则索赔11,016,000元,被腾讯认为过高,双方未达成一致。

现在,腾讯云发布了一份关于客户“前沿数控”数据完整性受损的技术复盘,对客户业务所受影响表示诚挚歉意的同时,详细解释了此次故障发生的根源,以及将采取的措施。

  腾讯云经过复盘发现,故障缘起于因磁盘静默错误导致的单副本数据错误,再加上数据迁移过程中的两次不规范的操作,导致云盘的三副本安全机制失效,并最终导致客户数据完整性受损。

  当天上午11:57,腾讯云运维人员收到仓库I空间使用率过高告警,准备发起搬迁扩容。

  14:05,运维人员从仓库I选择了一批云盘搬迁至新仓库II,为了加速搬迁,手动关闭了迁移过程中的数据校验。

  20:27,搬迁完成之后,运维人员将客户的云盘访问切至仓库II,同时为了释放空间,对仓库I中的源数据发起了回收操作。

  20:30,监控发现仓库II部分云盘出现IO异常。

  腾讯表示,数据搬迁过程中的违规操作主要如下两点:

  第一是正常数据搬迁流程默认开启数据校验,开启之后可以有效发现并规避源端数据异常,保障搬迁数据正确性,但是运维人员为了加速完成搬迁任务,违规关闭了数据校验;

  第二是正常数据搬迁完成之后,源仓库数据应保留24小时,用于搬迁异常情况下的数据恢复,但是运维人员为了尽快降低仓库使用率,违规对源仓库进行了数据回收。

  因这些错误操作的连续影响,导致该客户数据完整性受损,给客户的正常业务运行造成影响,腾讯云再次表示最诚恳的歉意。

  改进措施方面,腾讯云提出了两点:

  首先,将全面审视所有的数据流程,涉及数据安全的流程自动化闭环,进一步提升常规运维自动化和流程化,降低人工干预,同时把全流程的数据安全校验作为系统的常开功能,不允许被关闭。

  其次,针对物理硬盘静默数据错误,在当前用户访问路径数据校验自愈的基础上,优化现有巡检机制,通过优先巡检主副本数据块、跳过近期用户访问过的正确数据块等方法,加速发现该类错误,进行数据修复。

  另外,腾讯云建议用户开启免费的快照功能,对重要数据进行定期备份。

原文发布于微信公众号 - BestSDK(bestsdk)

原文发表时间:2018-08-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

全解Google(谷歌)基础设施架构安全设计

谷歌的技术基础设施共同构建了搜索、邮件(Gmail)、照片等普通用户系统和G Suite 、谷歌云存储平台等企业系统,是谷歌数据中心的关键,是整个谷歌网络服务赖...

7425
来自专栏编程

RxJava系列一

前言 提升开发效率,降低维护成本一直是开发团队永恒不变的宗旨。近一年来国内的技术圈子中越来越多的开始提及Rx,经过一段时间的学习和探索之后我也深深的感受到了Rx...

22410
来自专栏诸葛青云的专栏

利用Python制作一个类似万能钥匙的小程序,轻松获取超高网速

平时回家看用手机看视频、打游戏的时候,如果没有wifi是不是特别心疼自己的流量?当然了如果你有无限流量那就当我没说了哈,没有wifi但是我可以用万能钥匙破解别人...

8311
来自专栏企鹅号快讯

关于服务器的运行寿命 你应该知道这些事

服务器是一种全年365天不间断开机运行的设备,且其配置一般都比较高的,但即使配置再高,它也只是一种电子设备,所以也是有使用寿命的。为了延长服务器的使用寿命,很多...

7446
来自专栏腾讯数据中心

数据中心假负载验证测试实战指导方案

前言 数据中心作为一个由多个系统高度结合的复杂工程,在基础设施建设全部完成,各系统调试结束后,就具备了开展假负载验证测试的基本条件。一场规模宏大的数据中心规划、...

3386
来自专栏SDNLAB

SDN实战团分享(十五):2Cloud Aladdin:谈谈云中网络运维

大家晚上好,今天我来分享一些云杉在网络运维中的所做所想,现在开始密集轰炸了。相信不少人看到了云杉年初发布的NSP解决方案,以及上周的新闻稿。我今天主要讲的也是...

38510
来自专栏大数据架构师专家

zabbix告警系统--文末彩蛋

zabbix安装和配置非常简单,学习成本低,但是zabbix告警却是很烦人的,而且关于告警的中文翻译资料非常少.

2593
来自专栏沃趣科技

All In One|沃趣QFusion v2.0.0 MySQL私有云平台重磅发布

沃趣科技QFusion v2.0.0 MySQL私有云平台重磅发布,产品不仅具备之前QFusion v1.0.0版本的企业级特性,在此基础之上重构整个IaaS和...

3289
来自专栏ytkah

微信认证命名规则调整 未来已认证帐号或可改名

  取个简洁好听的名字是运营微信公众号的基础,运营者对命名规则关注点极高,昨日,微信团队对微信公众号认证规则进行调整,并对规则做了详细讲解。 1. 微信认证命...

4834
来自专栏along的开发之旅

互联网后台的奥秘 - 腾讯一大牛的分享

作者举了一个异步的例子, 是关于获取时间的. 获取时间涉及到内核调用, 内核调用涉及到用户态和内核态的上下文切换, 会比较耗时. 但是在程序中很多地方都需要获得...

1242

扫码关注云+社区

领取腾讯云代金券