如何依托腾讯云完成海量数据的存储和备份

在我们提供的安防监控体系中,每个监控系统每天会产生几个 T 的视频数据,这些未经处理的视频数据一般需要存储几个星期,经过剪辑和压缩处理的视频数据可能需要归档存储三个月至半年。如此大量的视频数据,如果在本地备份并归档,将长期占用硬盘存储空间,不仅扩容麻烦,而且很容易出现单点故障,难以保证数据备份/归档安全。因此,我们考虑依托公有云服务,来实现海量音视频监控数据的存储、备份以及归档。

由于业务特性(安防监控的数据存储要求安全、海量、上传下载快),所以我们对现有的公有云产品做了调研,了解到,腾讯云的对象存储目前可支持:1、理论上无限大的存储空间;2、可以存储无限大的单个文件;3、对每一个文件都进行3重文件备份,可确保文件不会因单点故障而损坏或丢失。除却业务需求之外,在价格上,由于我们的存储量较大,所以和客服取得了联系,并得到了一定的优惠。综合各方面考虑,我们决定使用腾讯云来实现数据迁移上云。

在我们的安防监控中,各类型的摄像头会采集音视频数据,然后将数据上传至本地服务器。监控中心从本地服务器调取音视频数据,进行日常监控以及定期备份。本地服务器承载了大量的存储压力,所以,云化改造的第一步,就是实现音视频数据的上传下载。

于是,我们基于腾讯云 COS 提供的 .NET SDK ,对现网的监控探头做了简单的二次开发,修改了“存储管理”和“网络传输”模块,使其能够将录好的音视频文件,通过公网直接上传至腾讯云 COS 。经过改造后的视频源生成系统,本地服务器只负责管理 COS 相关的签名鉴权和云端存储路径。只要视频源系统和腾讯云 COS 之间的网络畅通,监控所得的音视频、图片等数据,就可随时迁移上云。

对于监控中心,只需将原先配置中的本地服务器域名改为腾讯云 COS 的域名即可,对上层业务基本无影响。

对于移动端的(监督)用户,在云化改造之前,要想回放监控视频,必须去访问监控系统的本地服务器,限于物理距离和网络带宽,回放很容易出现卡顿。在云化改造之后,腾讯云提供了 CDN 来加速 COS 上的资源分发,使得移动端用户即使是在全国漫游时,也能流畅稳定的拉取到 COS 中的音视频资源,极大的提高了用户体验,并且,经 CDN 渠道拉取 COS 资源,费用比直接访问 COS 的 IDC 更为便宜。其改造过程和监控中心类似,只要配置得当,可以沿用以往的资源相对路径,仅需替换服务器域名即可。

在将存储和上传/下载业务迁移上云后,我们随之考虑引入关于智能语音、视频格式转化、万象优图图片处理和人脸识别等腾讯云大数据与 AI 产品,以期能拓展安防监控的业务领域,深挖行业潜力,通过集成创新来推动产品升级。

在这些产品中,对安防系统优化效果最显著的莫过于文件存储大小的压缩和智能语音识别。 其中,对于视频清晰度,腾讯云提供了“超清-高清-标清-手机”这四种选择,可以在云端自动对存储到 COS 中的视频进行清晰度转码。

当请求视频资源时,通过设定参数definition,即可取得对应清晰度的视频。

基于此功能,我们实现了视频的定期转码和归档存储。比如,每隔一个星期,将视频的清晰度降低一个级别,以节省存储空间,逐步进入归档存储。

同理,对于图片的存储,也可以采用腾讯云的格式转换功能,将图片由 jpeg 转为 webp 格式,这样,图片大小能够被压缩得很低但是清晰度仍然足够,从而实现图片文件的归档存储。

对于智能语音的应用场景,我们目前有三个:

  1. 对于外出巡察的值班人员,可以在巡察过程中口述巡察情况,安防系统将实时接收并存储音频文件。
  2. 对于单元楼门口的语音对讲门铃,安防系统将记录语音。
  3. 对于群众的求助、投诉或建议电话,我们将做录音。

这两个场景将产生大量的音频文件,在归档存储时,我们将该音频文件先经过腾讯云的智能语音识别,转化为文字,然后删除很久之前的语音文件,只归档存储文字。

在云端大数据技术的集成和应用方面,还有很多场景可供挖掘,未来,我们还将加入人脸识别、区域人流分析、自然语言呼救等功能,从而不断完善我们的产品,打造“监控-识别-告警-处理”快速反应的一体化防治系统。

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据和云

防范攻击 加强管控 - 数据库安全的16条军规

近日的数据安全事故,引发了很多企业的普遍关注,而不少用户从彻查中确实发现自己的数据库已经被注入,这为大家上了数据安全的重要一课。 甚至有的企业要求停用PL/SQ...

2676
来自专栏蓝天

带外架构——远程网络管理的整合

摘要:本文回顾比较通用的监测、维护和恢复系统的方法,同时探索更有效的方法来满足日益紧迫的网络评估目标要求-减少成本同时提高业务水平和生产能力。  这篇文章还将...

551
来自专栏大魏分享(微信公众号:david-share)

构建数据中心一体化运维平台:小型机篇

大卫说:关于构建自动化运维平台的相关内容,此前本公众号已经分享过很多篇文章,如: 大卫的思考 | 金融行业自动化运维的研究和落地 Ansible Tower管理...

3054
来自专栏SDNLAB

OpenStack安全问题:缺乏自卫武器

大家可能还记得Alexander Adamov在2015年5月的一篇关于“云端检测针对性的网络攻击”的文章,现在他给我们带来了OpenStack东京安全峰会的一...

2666
来自专栏SDNLAB

SD-WAN,不只是省钱

SD-WAN的大部分价值主张都是围绕带宽成本节省,以帮助企业降低当前运营商广域网的高昂的成本。很多成本节省来自于以更低成本的宽带互联网连接替代或缓解高成本MPL...

3106
来自专栏云计算D1net

你为什么需要在云端构建Linux服务器?

云端Linux服务器比以往来得成本更低、性能更好。 要是你之前还没有启动过云端Linux服务器,眼下也许正是大好时机。原因何在因为你在短短几分钟内就能安装好一台...

3737
来自专栏FreeBuf

企业安全建设之路 | 端口扫描(上)

0×00、业务需求 由于工作关系,最近一年来都奔走在各大安全会议,无论是公开会议,例如:ISC互联网大会、freebuf互联网大会等、还是半公开的会议,例如某S...

2125
来自专栏Java技术栈

春节好消息 | Dubbo拥抱Apache,MongoDB支持事物……

大年初五好,一个年过了好些天了,软件方面都有哪些重大更新呢?我们一起来看看吧。 1.Dubbo通过投票正式进入Apache基金会孵化器 2018年2月9日,Ap...

3298
来自专栏云计算D1net

DDoS攻击防护服务: 实施前考虑哪些事项

在实施DDoS攻击防护服务之前,有几件事是企业应该考虑的。专家Ed Moyle讨论了提高安全性要采取的几个步骤。 一些MSSP中有这样一种说法,有两种客户:那些...

3347
来自专栏北京马哥教育

学Linux运维自动化无头绪?这21个学习资源值得看

运维工种对于自动化的强烈需求已经显露无疑——作为一个古老的技术工种,在几台、几十台服务器时尚可人肉维护,面对云计算时代动辄上百上千的服务器,单凭人肉维护显然束手...

3416

扫码关注云+社区