观点 | 国内各产业加速发展的“利器”——大数据

随着物联网的应用及智慧产业的爆发,“大数据”这个词汇再次高频度地出现在人们的视线中,围绕大数据做文章也相应催生出了农业大数据、工业大数据、健康大数据、旅游大数据等一批行业领域的大数据概念。作为各行各业智能化变革的重要组成部分,“如何利用大数据”成为传统企业和新兴互联网厂商争相涌入的新一片蓝海。

1

合理利用大数据助力中国各产业加速发展

智慧产业的应用简单来说,需要依托传感前端的智能感知或者数据采集,经过数据筛选、分析等处理,最终根据业务需求提供服务应用的一个过程。其中,大数据起着“中枢”的作用,犹如人体五官收到外界信息后经过大脑中枢处理进行决策的过程,其地位的重要性可谓不言而喻。

正因为这种行业变革的应用,各个领域开始了脑洞大开的畅想:智能手环检测到你的体脂率近期呈上升趋势,健身中心主动联系你并推荐降脂训练,生鲜电商平台发送低脂、健康食谱到你的手机;你有3天小长假,系统自动匹配你过去的行程信息、喜好、消费水平,推荐旅游方式、目的地,并将目的地相关的近期状况、游客点评等信息呈现给你……似乎无限的商业模式摆在眼前,只等你开始开采金矿。

2

大数据之采集分析,你了解多少?

有人曾说,大数据像地底下的石油资源,数据采集就相当于发现原油。大数据采集的对象不仅仅包含人们在上网过程中浏览或产生的信息数据,从移动互联演进到万物互联的时代更是包含了全世界的家电、工业设备、监控仪器、汽车及可穿戴设备等等装备终端传感设备所产生的运行数据、环境数据、监控视频图像数据等等,所产生的数据将会是指数级爆炸式增长。IBM的研究称,整个人类文明所获得的全部数据中,有95%是过去几年内产生的,而到了2020年,全世界联网设备可达200~500亿的数量,所产生的数据规模将达到今天的40倍以上。

数据的产生过程可以大致分为两类:一类是通过社交网络、电商平台、APP应用等消费者领域产生的数据,如社交、购物、出行等数据;另一类是各种智能设备、监控设备、传感设备等自主采集上传的数据,如人/物的状态信息、运行数据、地理位置、温湿度等环境数据。这些数据不仅来源十分广泛,数据类型更是纷繁复杂,加上各种工业PLC、不同通讯协议的传感终端带来多源数据的问题,这些都需要大数据采集层面实现智能感知识别、信号转换、适配、数据传输等技术的支持。

大数据技术下的系统平台通常以云存储方式进行数据存储,且随着企业信息化的加深呈现数据融合、加工再增值的趋势。但是,原本割裂、各自存在的系统平台数据存储格式千差万别,如传统的财务、办公、人力、采购等系统采用外部供应商提供,而核心业务系统自行开发管理,所导致的不同应用间数据结构化、半结构化、非结构化(如语音、图片、视频)等不同形态带来异构数据存储的难题。传统针对关系型数据的数据挖掘、分析处理方法在异构的大数据处理要求面前显得过于乏力,需要创新研究新型大数据分析和数据挖掘处理方法。

此外,大数据呈现着数据价值密度较低的特性,且数据价值隐藏较深,对数据的抽取及分析带来不小的挑战,出于对最后服务应用质量的保障,必须使用多种复杂的分析算法对原始的累积数据进行转换及清洗。以车联网为例,车辆运行状态数据实时上传,每天单部车辆所产生的不间断的数据中,可能有用的仅为几个关键数据,如果没有进行数据“提纯”,再多的数据也只是一堆数据垃圾。

3

大数据服务离我们还多远?

服务应用体现着大数据变现的至关重要一个环节,也是体现商务模式的核心环节。没有真正的服务应用,大数据只能叫“海量数据”,或者说“BigData”只能叫“ManyData”,因此,在海量数据中淘金才是大数据的真谛所在。但是,现在国内大部分公司对于大数据的应用仅仅停留在数据图表展示、浅层分析,至于数据下一步怎么用,没几个人搞的明白。

在工业制造领域,依靠工业制造的各个环节传感终端累积的数据可以为制造企业带来制造效率的提高、产品质量的改善、生产成本和资源消耗降低等转变;通过大数据的高速分析可以精准计算着每个生产步骤和节拍,这些都最终为企业管理者打造一座透明的智能车间、智能工厂。在农业生产领域,通过农田种植、果园花卉、畜禽水产养殖等领域大量的终端感知数据采集,并结合农业生产丰富的历史数据资源,进行农情监测、重大灾害预警,从而进一步预测农产品产量、价格波动趋势等,打造智慧农业园的农业愿景。

这些都是大数据服务于具体行业应用的例子,但是离行业广泛应用还尚待时日。此外,大数据涉及的数据安全问题还亟需解决,需要服务提供商对数据资源进行切割、隔离,一方面保障用户的数据对于其他用户是不可见的,另一方面需要确保单个用户的不良数据操作对整个大数据平台的整体和服务不会产生影响。同时,电信、能源、金融、医疗、教育、政务、工业及农业等各个领域对数据应用均有不同程度的需求,部分行业对基于大数据的平台服务有着高实时性的要求,如设备故障预测预警、生产决策支持等业务,部分行业需要涉及高并发数访问及操作,比如电信、金融平台等,这些都对数据的算法提出了非常高的要求。

内容来源:大数据观察

原文发布于微信公众号 - 灯塔大数据(DTbigdata)

原文发表时间:2016-08-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏JAVA技术zhai

聊聊程序员的职场“围城”,给出作为过来人的一些建议

大部分人选择离职跳槽其实是因为对当下的工作不满意,或者自己处于一个职业的低谷期才考虑的,关于员工离职,马云说的两点原因可谓一针见血:1、钱,没给够,2、心,受委...

3936
来自专栏Spark学习技巧

为什么说软件开发者是有史以来最好的工作?

在过去的十几年中,我一直都是一名开发者。不久前,公司的一位实习生问我,做一名开发者,最酷的事情有哪些。以下就是我给出的回答:

1184
来自专栏PHP在线

程序员到底是一个什么职业?

[导读] 反思技术圈的造神现象,作者写下对程序员这个职业的理解。他认为,程序员首先是雇员、然后是工程师;比起创造力,工程能力对这个职位更为重要。本文权转载自新...

3696
来自专栏罗超频道

安全教父周鸿祎:万物互联时代面临六大安全挑战

2014中国互联网安全大会9月24日上午在北京举行,2013年周鸿祎提出了泛安全的概念,要让用户用手机和电脑用得更爽,这一次周鸿祎讲了什么?且看实录。 非常感...

3375
来自专栏Python数据科学

转行数据分析的亲身经历

快两周没更新了,先跟大家说一下抱歉。最近生活上确实有点忙,不过后续将恢复正常。今天和大家聊一个非技术性的话题:转行。全篇无代码,但是我想对于这个话题,很...

1871
来自专栏大数据文摘

CB Insights | 2017年人工智能十大趋势

2007
来自专栏腾讯研究院的专栏

研报深度:运营商大数据蓄势待发

    电信运营商积累了庞大的数据资源,大数据金矿价值凸显。而互联网巨头已在数据变现的道路上大踏步前进,摆在运营商面前的一条出路便是管道智能化。通过大力推进“...

4869
来自专栏CDA数据分析师

想入门数据分析,现在转行还来得及吗?

2014年,“大数据” 成为国内年度热词,并首次出现在当年的《政府工作报告中》。同年,数据分析也同样成为朝阳行业,数据分析一度霸屏各招聘网站。

1721
来自专栏老九学堂

程序员到底是一个什么职业?

为什么有人在技术造神 大家应该已经感受到,技术圈这两年已经和娱乐圈创业圈差不多的氛围了,这其实是有原因的。 最主要的原因是,创业公司和创业媒体越来越多,他们需要...

2835
来自专栏AI科技大本营的专栏

7月报告:Python坐稳榜首,彻底甩掉Java!

Python 在今年5月以 22.8% 的份额,首次超越 Java 拿下榜首位置。时隔2个月,7月Python保持上涨趋势,本月再次上涨5.5%,以23.59%...

943

扫码关注云+社区

领取腾讯云代金券