如何依托腾讯云完成海量数据的存储和备份

在我们提供的安防监控体系中,每个监控系统每天会产生几个 T 的视频数据,这些未经处理的视频数据一般需要存储几个星期,经过剪辑和压缩处理的视频数据可能需要归档存储三个月至半年。如此大量的视频数据,如果在本地备份并归档,将长期占用硬盘存储空间,不仅扩容麻烦,而且很容易出现单点故障,难以保证数据备份/归档安全。因此,我们考虑依托公有云服务,来实现海量音视频监控数据的存储、备份以及归档。

由于业务特性(安防监控的数据存储要求安全、海量、上传下载快),所以我们对现有的公有云产品做了调研,了解到,腾讯云的对象存储目前可支持:1、理论上无限大的存储空间;2、可以存储无限大的单个文件;3、对每一个文件都进行3重文件备份,可确保文件不会因单点故障而损坏或丢失。除却业务需求之外,在价格上,由于我们的存储量较大,所以和客服取得了联系,并得到了一定的优惠。综合各方面考虑,我们决定使用腾讯云来实现数据迁移上云。

在我们的安防监控中,各类型的摄像头会采集音视频数据,然后将数据上传至本地服务器。监控中心从本地服务器调取音视频数据,进行日常监控以及定期备份。本地服务器承载了大量的存储压力,所以,云化改造的第一步,就是实现音视频数据的上传下载。

于是,我们基于腾讯云 COS 提供的 .NET SDK ,对现网的监控探头做了简单的二次开发,修改了“存储管理”和“网络传输”模块,使其能够将录好的音视频文件,通过公网直接上传至腾讯云 COS 。经过改造后的视频源生成系统,本地服务器只负责管理 COS 相关的签名鉴权和云端存储路径。只要视频源系统和腾讯云 COS 之间的网络畅通,监控所得的音视频、图片等数据,就可随时迁移上云。

对于监控中心,只需将原先配置中的本地服务器域名改为腾讯云 COS 的域名即可,对上层业务基本无影响。

对于移动端的(监督)用户,在云化改造之前,要想回放监控视频,必须去访问监控系统的本地服务器,限于物理距离和网络带宽,回放很容易出现卡顿。在云化改造之后,腾讯云提供了 CDN 来加速 COS 上的资源分发,使得移动端用户即使是在全国漫游时,也能流畅稳定的拉取到 COS 中的音视频资源,极大的提高了用户体验,并且,经 CDN 渠道拉取 COS 资源,费用比直接访问 COS 的 IDC 更为便宜。其改造过程和监控中心类似,只要配置得当,可以沿用以往的资源相对路径,仅需替换服务器域名即可。

在将存储和上传/下载业务迁移上云后,我们随之考虑引入关于智能语音、视频格式转化、万象优图图片处理和人脸识别等腾讯云大数据与 AI 产品,以期能拓展安防监控的业务领域,深挖行业潜力,通过集成创新来推动产品升级。

在这些产品中,对安防系统优化效果最显著的莫过于文件存储大小的压缩和智能语音识别。 其中,对于视频清晰度,腾讯云提供了“超清-高清-标清-手机”这四种选择,可以在云端自动对存储到 COS 中的视频进行清晰度转码。

当请求视频资源时,通过设定参数definition,即可取得对应清晰度的视频。

基于此功能,我们实现了视频的定期转码和归档存储。比如,每隔一个星期,将视频的清晰度降低一个级别,以节省存储空间,逐步进入归档存储。

同理,对于图片的存储,也可以采用腾讯云的格式转换功能,将图片由 jpeg 转为 webp 格式,这样,图片大小能够被压缩得很低但是清晰度仍然足够,从而实现图片文件的归档存储。

对于智能语音的应用场景,我们目前有三个:

  1. 对于外出巡察的值班人员,可以在巡察过程中口述巡察情况,安防系统将实时接收并存储音频文件。
  2. 对于单元楼门口的语音对讲门铃,安防系统将记录语音。
  3. 对于群众的求助、投诉或建议电话,我们将做录音。

这两个场景将产生大量的音频文件,在归档存储时,我们将该音频文件先经过腾讯云的智能语音识别,转化为文字,然后删除很久之前的语音文件,只归档存储文字。

在云端大数据技术的集成和应用方面,还有很多场景可供挖掘,未来,我们还将加入人脸识别、区域人流分析、自然语言呼救等功能,从而不断完善我们的产品,打造“监控-识别-告警-处理”快速反应的一体化防治系统。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯IVWEB团队的专栏

Lego 组件平台开发(一)

为什么要开发组件,这个问题在很多场合都被人提起,这里不做过多赘述,其解决的本质问题就是复用和统一,本文分享了Lego组件开发过程中的一些系统性思考。

3960
来自专栏大魏分享(微信公众号:david-share)

南沪艳阳谈U2L---我在金融行业座谈会上的分享

前言: 谈到U2L,顾名思义,就是UNIX to X86Linux。那么,我们为什么要做这件事呢?技术考量?成本考量?还是别的因素。本文将为您进行详细讲述。...

3256
来自专栏CSDN技术头条

浅析:如何构建稳定的系统

作者:Jesper L. Andersen 原文:How to build stable systems 译者:孙薇 准备工作 第一个决策是最简单却最为重要的...

1855
来自专栏挖掘大数据

最佳实践分析:IBM Cognos 11如何链接Hadoop

大数据标志着业务分析的新时代到来,各商业组织现在有机会就数据在容量、速度和多样性的传统处理能力不足问题上作出更加明智的决策。IBM 具有得天独厚的优势, 可以提...

18810
来自专栏北京马哥教育

从零起步做到Linux运维经理,你必须管好的23个细节

不想成为将军的士兵,不是好士兵-拿破仑 如何成为运维经理?成为运维经理需要什么样的能力?我想很多运维工程师都会有这样的思考和问题。 如何成为运维经理。一般来说,...

3555
来自专栏SDNLAB

云数据中心网络运维的苦与乐

前几年大家讲 SDN 比较多的是怎样利用控制器,像 OpenDayLight、ONOS 这些东西,其实在讲怎样做一个 Driver、怎样做控制。大概从去年开始,...

3967
来自专栏顶级程序员

Java9之后没有Java10,而是Java18.3

Java编程语言自出现以来似乎一直是个慢性子,这次终于决定做出点改变了。Java之后的更新速度终于可以和现代编程语言相提并论了。近日,Azul Systems...

3607
来自专栏织云平台团队的专栏

【 DCOS 】织云 CMDB 管理引擎技术详解

在私有云的环境里,所有基础架构设施均由用户自行管理。那么,为大型企业构建数百上千台服务器规模的私有云后,如何对这些网络设备和服务器进行自动化管理呢?

7815
来自专栏喵了个咪的博客空间

phalapi-进阶篇8(PhalApi能带来什么和进阶篇总结)

#phalapi-进阶篇8(PhalApi能带来什么和进阶篇总结) ? ##前言## 先在这里感谢phalapi框架创始人@dogstar,为我们提供了这样一个...

2846
来自专栏云计算D1net

将数据迁移到云端的最佳实践

就当前而言,移动PB级的数据对企业来说仍然是一件难事,可以按照以下步骤来操作,尽量减少风险和成本,并最大程度地提高灵活性。 接受云部署的企业需要具有成本效益和...

2719

扫码关注云+社区