前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >每年14PB数据存储需求,海量交通安全数据如何安放?

每年14PB数据存储需求,海量交通安全数据如何安放?

作者头像
大数据文摘
发布2018-05-22 18:03:10
1.8K0
发布2018-05-22 18:03:10
举报
文章被收录于专栏:大数据文摘大数据文摘

据中国汽车工业协会统计分析,2016年8月,在商用车主要品种中,与上月相比,客车和货车产销均呈增长,货车产销22.26万辆和23.25万辆,环比增长9.15%和10.21%,同比增长20.51%和15.37%。

而远程被管理车辆每天大约需要上传20MB左右的数据。按照100万辆计算,每月大约600TB,每年7.2PB左右。而100万辆车对数据中心的存储需求大约在14PB。

面对不断增长的数据,对商用车纳入远程监控管理和提供远程信息服务的要求日益提高。相关交通运输行业作为传统行业的“老大哥”,在大数据时代的背景下,面临海量交通安全数据的处理,转型势在必行。对基础架构技术进行革新,配合上层软件解决方案的软硬件结合的模式将重塑高效、安全的交通运输业未来。

海量数据存储、实时分析

中交兴路智能车货匹配案例

北京中交兴路信息科技有限公司(以下简称“中交兴路”)是一家专注于商用车车联网领域的运营和服务商,提供安全、运行稳定可靠的完整车联网信息服务解决方案。

传统方案将数据的采集和存储作为前端任务,而将数据的分析作为后端任务。各种传感器技术的应用造成数据种类复杂多样,非结构化数据所占比重快速上升,海量增长的数据也对网络传输和后端处理能力造成很大的压力。

远程被管理车辆每天大约需要上传20MB左右的数据。按照100万辆计算,每月大约600TB,每年7.2PB左右。根据政府监管和中交兴路其它增值服务需求(一年两份冗余),100万辆车对数据中心的存储需求大约在14PB。

面对如此海量的数据,中交兴路首先需要将数据的访问和存储等服务从硬件资源池中分离出来,使数据访问脱离硬件以面对新型存储设备和存储容量扩充等需求,此外中交兴路还需要考虑存储系统的性能和带宽以应对百万级车辆同时上传数据的需求。

打造智慧交通

“芯”方案

如此一来,增强数据存储能力,提高大数据处理和分析性能成为关键。作为国内领先商用车车联网服务商和全国性道路货运车辆公共监管与服务平台的供应商,中交兴路与英特尔合作,配合英特尔架构计算平台的领先优势,部署用以应对海量数据的采集、存储和分析等业务对数据中心的性能需求。

目前,中交兴路大数据平台可以满足现有百万级车辆的10PB级数据存储能力和存储性能需求,并可灵活扩展以应对更多车辆数据的存储挑战。与此同时,相应的车联网解决方案对大量车载终端海量实时数据及时采集、处理、存储和分析,同时支持大规模终端用户实时查看、分析、监控和处理实时业务,并可伴随业务规模的增长而动态扩充平台性能以满足业务需求。

中交兴路大数据中心利用分布式处理的软件框架ApacheHadoop/HBase和基于英特尔至强处理器E5系列的服务器实现百万级别车辆数据的存储、查询、分析和统计。底层架构使用英特尔至强处理器E7系列的出色性能和大内存支持等特性实现数据的实时分析和处理,并轻松实现计算性能的扩展,用以支持更高的计算密度和增强的虚拟化等特性,使得中交兴路大数据平台成为理想的云计算技术运行平台。

针对中交兴路车联网平台百万级车辆管理的业务需求,中交兴路和英特尔还一起研发实施了英特尔架构的硬件平台和第三方商业、开源软件相结合,基于云计算和大数据处理技术的车联网平台压力测试。压力测试方案模拟可以10万、30万、50 万车辆的位置和告警(如超速、疲劳驾驶),持续运行1小时。目前,中交兴路大数据中心既服务于中交各业务和产品线,也服务于整个货运生态;针对合作企业需求,通过数据开放平台,提供数据分析、趋势预测、用户行为画像、区域分析、咨询报告等服务。

“芯”动力

“芯”可能

中交兴路车联网大数据平台通过实现PB 级海量数据的集中存储和管理,满足车联网业务需求。该平台帮助确保车辆安全保障和实时护驾,通过实时获取车辆各项状态及信息数据实现实时管控,高效安全进行车货匹配,创新了行业商业模式,为行业发展转型奠定了基础。

基于英特尔架构的解决方案,凭借其高性能、可扩展性、灵活性、安全性等优势而构建起了包括存储、网络、计算在内的下一代数据中心架构,完美地支持了未来车联网发展和行业业务需求,而这一切只是英特尔助力交通运输行业转型、企业业务升级的一个“小”体现的缩影。

——素材来自英特尔

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2017-03-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据文摘 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档