专栏首页大数据文摘每年14PB数据存储需求,海量交通安全数据如何安放?

每年14PB数据存储需求,海量交通安全数据如何安放?

据中国汽车工业协会统计分析,2016年8月,在商用车主要品种中,与上月相比,客车和货车产销均呈增长,货车产销22.26万辆和23.25万辆,环比增长9.15%和10.21%,同比增长20.51%和15.37%。

而远程被管理车辆每天大约需要上传20MB左右的数据。按照100万辆计算,每月大约600TB,每年7.2PB左右。而100万辆车对数据中心的存储需求大约在14PB。

面对不断增长的数据,对商用车纳入远程监控管理和提供远程信息服务的要求日益提高。相关交通运输行业作为传统行业的“老大哥”,在大数据时代的背景下,面临海量交通安全数据的处理,转型势在必行。对基础架构技术进行革新,配合上层软件解决方案的软硬件结合的模式将重塑高效、安全的交通运输业未来。

海量数据存储、实时分析

中交兴路智能车货匹配案例

北京中交兴路信息科技有限公司(以下简称“中交兴路”)是一家专注于商用车车联网领域的运营和服务商,提供安全、运行稳定可靠的完整车联网信息服务解决方案。

传统方案将数据的采集和存储作为前端任务,而将数据的分析作为后端任务。各种传感器技术的应用造成数据种类复杂多样,非结构化数据所占比重快速上升,海量增长的数据也对网络传输和后端处理能力造成很大的压力。

远程被管理车辆每天大约需要上传20MB左右的数据。按照100万辆计算,每月大约600TB,每年7.2PB左右。根据政府监管和中交兴路其它增值服务需求(一年两份冗余),100万辆车对数据中心的存储需求大约在14PB。

面对如此海量的数据,中交兴路首先需要将数据的访问和存储等服务从硬件资源池中分离出来,使数据访问脱离硬件以面对新型存储设备和存储容量扩充等需求,此外中交兴路还需要考虑存储系统的性能和带宽以应对百万级车辆同时上传数据的需求。

打造智慧交通

“芯”方案

如此一来,增强数据存储能力,提高大数据处理和分析性能成为关键。作为国内领先商用车车联网服务商和全国性道路货运车辆公共监管与服务平台的供应商,中交兴路与英特尔合作,配合英特尔架构计算平台的领先优势,部署用以应对海量数据的采集、存储和分析等业务对数据中心的性能需求。

目前,中交兴路大数据平台可以满足现有百万级车辆的10PB级数据存储能力和存储性能需求,并可灵活扩展以应对更多车辆数据的存储挑战。与此同时,相应的车联网解决方案对大量车载终端海量实时数据及时采集、处理、存储和分析,同时支持大规模终端用户实时查看、分析、监控和处理实时业务,并可伴随业务规模的增长而动态扩充平台性能以满足业务需求。

中交兴路大数据中心利用分布式处理的软件框架ApacheHadoop/HBase和基于英特尔至强处理器E5系列的服务器实现百万级别车辆数据的存储、查询、分析和统计。底层架构使用英特尔至强处理器E7系列的出色性能和大内存支持等特性实现数据的实时分析和处理,并轻松实现计算性能的扩展,用以支持更高的计算密度和增强的虚拟化等特性,使得中交兴路大数据平台成为理想的云计算技术运行平台。

针对中交兴路车联网平台百万级车辆管理的业务需求,中交兴路和英特尔还一起研发实施了英特尔架构的硬件平台和第三方商业、开源软件相结合,基于云计算和大数据处理技术的车联网平台压力测试。压力测试方案模拟可以10万、30万、50 万车辆的位置和告警(如超速、疲劳驾驶),持续运行1小时。目前,中交兴路大数据中心既服务于中交各业务和产品线,也服务于整个货运生态;针对合作企业需求,通过数据开放平台,提供数据分析、趋势预测、用户行为画像、区域分析、咨询报告等服务。

“芯”动力

“芯”可能

中交兴路车联网大数据平台通过实现PB 级海量数据的集中存储和管理,满足车联网业务需求。该平台帮助确保车辆安全保障和实时护驾,通过实时获取车辆各项状态及信息数据实现实时管控,高效安全进行车货匹配,创新了行业商业模式,为行业发展转型奠定了基础。

基于英特尔架构的解决方案,凭借其高性能、可扩展性、灵活性、安全性等优势而构建起了包括存储、网络、计算在内的下一代数据中心架构,完美地支持了未来车联网发展和行业业务需求,而这一切只是英特尔助力交通运输行业转型、企业业务升级的一个“小”体现的缩影。

——素材来自英特尔

本文分享自微信公众号 - 大数据文摘(BigDataDigest)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-03-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 资源 | 从医疗语音到灾难响应,这八大优质数据集快抱走

    大数据文摘
  • 最新大数据行业鸟瞰图及解读

    大数据文摘
  • 把孩子培养成数据科学家吧

    大数据文摘
  • centos7查看修改时区

    2、timedatectl list-timezones: 列出所有时区 3、timedatectl set-local-rtc 1 将硬件时钟调整为与本地时...

    24-丰总
  • 什么是5G?关注MWC 2019前你需要了解这些知识

    5G 的研发已有将近十年,终于快要变成现实。2018 年,运营商开始在选定城市中实施固定(fixed)5G,2019 年美国将出现移动 5G,预计 2020 年...

    机器之心
  • Python安全运维实战:针对几种特定隐藏方式的Webshell查杀

    作者:北门喂猫 来源: http://www.freebuf.com/articles/web/131350.html Webshell一直都是...

    小小科
  • struts2 异常处理3板斧

    板斧1:找不到action的错误 ? 在struts.xml中参考如下配置 1 <struts> 2 3 ... 4 <package...

    菩提树下的杨过
  • 混合持久化让微服务如虎添翼

    程序你好
  • Android.mk 详解

    233333
  • 利用PyCINRAD处理、显示天气雷达基数据

    使用基于Python的PyCINRAD来处理、显示天气雷达基数据,只做简单推介,根据自己需要来选用。版本迭代,建议使用最新版本的PyCINRAD,以及与之相匹配...

    zhangqibot

扫码关注云+社区

领取腾讯云代金券