物联网:数据淘金——从数据中挖掘有效信息

如今是信息时代,得数据者得天下。然而,只是“有”数据还不够,数据的“准确性”和数据的“分析”也是至关重要的。爱因斯坦也说过:“能用的不一定有用,有用的也不一定能用。”

“数据”和“信息”不是一码事。“数据”说的是一堆未经处理的原始测量结果,我们要分析它,取其精华去其糟粕,以用于获得有用的信息。所以咱们常说的“信息过载”其实不对,“数据”可能会过载,但“信息”越多越好。数据本身不一定有用,因为如果没有经过适当的筛选,数据可能像假新闻一样,使我们误入歧途。

过去十年间,我们的数据量实现了爆炸式增长。《纽约时报》报道,2005年全球数据总量达到1300亿GB。现在的公司经常要处理数以PB记的数据。随着数据源的飞速增长,数据的获取速度也越来越快。科技进步如此迅速,转眼已是沧海桑田。据@HistoricalPics推特所述,1956年一个5MB硬盘要超过2000磅重,IBM要用一架飞机才能运输!低头看看巴掌大的手机,不由得心生感慨。

IBM使用飞机运输超过2000磅重的5MB容量硬盘

随着对人们活动和传感器的测量,数据类型也在不断增加。而我们要记住:数据,只有经过了分析,变成了信息才有用。

物联网的优势在于它能实时获取、组织数据。如果架构正确,物联网可以把数据变成有用的信息,用来决定下一步怎么办。

Kristian J. Hammond在《哈佛商业评论》中曾掷地有声地说:“大多数时候,我们都知道我们想从数据中得到什么:我们知道需要分析什么东西、需要寻找什么相关性、需要怎么比较。我们可以把数据交给一个可以胜任这些工作的机器,然后让它用人类的方式、用自然语言告诉我们结果。这样,我们就能稳定、迅速地从数据中提取到大量有用信息——但如今还没有实现。通过辅以机器的力量,我们可以全自动地从数据中淘金,让冰冷的数字变成感性的认知。“

如何发现数据的内涵?

物联网之前,分析传感器各式各样的海量数据非常困难。通过物联网技术,我们可以把机器得到的数据放入数据池自动分析,以决定下一步需要对数据和程序做些什么。物联网不仅收集、分析数据,它还会自我提升。

在介绍具体步骤前,我们先明确两个在讨论数据传输时常用的术语:“北向(northbound)”和“南向(southbound)”。“北向数据”是指从设备发出,通过网关,送至云端的数据,一般是遥测数据,也可能是命令和控制请求。“南向数据”则是从云发至网关,或者从云通过网关发至设备,一般是命令和控制信息(如软件的更新,请求、更改配置参数等)。

以下是利用南、北行信道,从探测数据中找到有用信息的方法:

  • 第一步:传感器发出北向遥测数据。根据架构的不同,这些数据会被预处理,然后发送到位于传感器附近的数据存储器(比如一个网关)。
  • 第二步:在网关这个临时节点上对数据进行一定量的分析,你可以在这处理数据(例如汇总数据,或者转换数据,为数据中心或云深入分析做好准备)。然后,把在网关上处理的信息和之前的精确结果比对,就是在历史信息中进行相关性匹配。发现的模式可以作为我们行动的依据。但除了发现已知模式,你也想找到你不知道的东西,想发现新的相关性和结论。例如,你可能不知道当气温降到10℃以下时,医生开出的抗流感处方会增加30%,而同时鸡汤、纸巾的销售额也会10天内上升。你以前可能没注意到这些关联,但现在有了物联网,你就可以用这些做出新的商业决策。
  • 第三步:利用新的信息,您就可以建立一个规则。例如,当传感器发现温度已经降到10℃以下时,就让仓库把鸡汤和纸巾运到码头附近。这样,你就把信息变成了可监控、管理、执行的行事规则。
  • 第四步:最后把制定好的规则付诸实践。就是如图所示的迭代过程。

信息生命周期图

开源何益?

开源软件项目提供了标准化的工具包(例如Camel、Drools),你可以用它处理、操作数据。Apache Camel是一种基于Java规则的路由和中介引擎,具有可以处理数据的企业集成模式。它通过“开箱即用”(out-of-the-box)的信息中介、路由、数据转换,可以联网解决方案的开发。我认为最好通过Eclipse IoT工作组项目(如Eclipse Kapua、Kura)在IoT中使用Apache Camel。

JBoss社区的Drools是一个内置了规则模板的业务规则管理系统,你可以用它规定在什么情况下应该采取什么措施。Drools通过定义明确的DSL(域特定语言)来实现物联网所需的规则和优化规则引擎所需的可扩展性。它还附带一个名为Workbench的GUI,可以让开发者非常简单地创建、编辑规则。

把数据转化为有用的信息是所有物联网工作的核心,而通过开源软件可以实现这一目标,这有助于加速将物联网付诸实践。

本文的版权归 元卅 所有,如需转载请联系作者。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据和云计算技术

大数据和云计算技术周报(第55期)

“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

1093
来自专栏IT派

“史上最严”朋友圈外链管理规则更新:删除对转播内容证照要求

导读:朋友圈是用户分享和关注朋友们生活点滴的空间,为保障微信用户的隐私和合法权益,微信会一直对朋友圈外链进行严格管理。

1172
来自专栏工科狗和生物喵

我的工程师的能力评估和发展

Part 1 虽然是作业,但是我也准备好好地评估一下自己的能力,看看自己到底有多菜鸡,好给自己一个响亮的耳光来督促后面的自我学习!所以我就好好地给自己评估下(参...

2965
来自专栏ytkah

微信2.1 for Windows发布 微信群可多人语音或视频通话

  5月31日,windows电脑版微信发布更新,微信2.1 for Windows带来最主要的功能是微信群可以多人语音或视频通话了,建个家庭群组,常年在外工作...

3235
来自专栏互联网数据官iCDO

活用GA的监测协议(Measurement Protocol)功能,实现你想不到的数据监测!

大约两年半以前,一位当时就已经从事互联网数据工作多年的前辈在笔者边上如是说:“最没有不可替代性的就是数据分析师,就是个锦上添花的。像什么策划啊、产品啊、美工啊、...

5938
来自专栏阮一峰的网络日志

五个为什么(译文)

昨天晚上,我终于把 More Joel on Software 翻译完了。 谢天谢地,总算可以摆脱这本书了。 唯一的感觉就是特别倦怠......检查完译稿以后,...

28412
来自专栏机器人网

干货:高水平自动化工程师的成长进阶之路

写在前面:进阶没有绝招,但好学和热爱绝对是必杀技。 【能力特点】 1、能用计算机进行PLC控制编程与调试。 2、能用计算机进行CAD电气原理图纸的绘制。 3、...

39211
来自专栏小文博客

腾讯云+校园全新推出不限量学生优惠套餐通知

https://cloud.tencent.com/redirect.php?redirect=1014&cps_key=c2ab27bee63e530286b...

8.8K9
来自专栏CIT极客

【极客周刊】支付宝PK微信?AI程序员面世?等等重大事件等你来看!

4416
来自专栏SDNLAB

SDNLAB技术分享(十二):ONOS:面向运营商网络的SDN操作系统

大家好,ONOS从14年12月份开源以来,取得了很多成绩,但是在国内,了解ONOS的人并不多,因为工作关系这两年我一直在从事开源ONOS的工作,今天我们一起从不...

4456

扫码关注云+社区

领取腾讯云代金券