大数据与物联网的协同作用

大数据&物联网

物联网产生有用数据的快速流。企业面临的挑战是存储大量数据并充分利用它。这是大数据发挥重要作用的地方。

越来越多的小电器现在使用智能技术通过嵌入式传感器生成数据。一款内置智能应用的的汽车,一款监控室内温度的智能家居设备,一种可将锻炼日常锻炼内容发送至手机应用的健身追踪器 - 这些都是物联网(IoT)的例子。这些设备连接到互联网。据估计,到2020年,全球将有240亿个物联网设备,这自然会导致海量数据的产生。到2020年,数字世界将达到4x10^22字节。因此,物联网在大数据采取行动时提供信息,以获取洞察力,从而使这些设备成为新技术时代的先驱。

什么是物联网? 物联网(物联网)是一个由例如计算机,汽车,智能手机,厨房电器,心脏监测器等互连设备组成的网络。随着技术的进步,甚至像手表,心脏起搏器,远程等具有最基本功能的小工具都将嵌入能够通过互联网收集和交换数据的传感器。这些可以由远程设备控制。传感器和芯片通常收集数据但不处理数据。他们将它发送到另一个地方进行分析。通常会收集并分析有关智能小工具和客户使用模式的性能数据。

物联网组件

物联网生态系统:物联网生态系统包括仪表板,遥控器,网关,网络,安全和存储等所有元素,这些元素允许设备连接到其用户 - 企业,政府和消费者。

实体:这些是使用设备并生成数据的用户,如企业,政府和消费者。它们构成了可以从数据分析中受益的群体。

物理层:该层由物联网生态系统的物理硬件组成。这包括设备,嵌入式传感器,网络设备,物理网关/交换机等。

网络层:该层主要负责将在物理层生成和收集的数据传输到其他设备。

应用层:该层主要是无形的,因为它包含用于跨异构设备共享数据的协议。它还包括帮助不同设备高效识别和沟通的界面。

遥控:远程操作允许实体通过仪表板(如应用程序)控制和连接到他们的物联网设备。远程操作的例子有个人电脑,智能手表,联网电视,平板电脑,智能手机等。

仪表板:仪表板包含在遥控器中,它允许实体控制和管理物联网生态系统。

图1:物联网生态系统

什么是大数据?

大数据是指大量的结构化数据和非结构化数据。大数据可以挖掘深入见解和信息。这些天的数据运行到百兆字节。有‘5 Vs'的大数据。

数据量:这是指世界各地生成的数据量。世界数据的90%是在过去两年中产生的。

速度:这是数据生成的速度以及它的传播速度。例如,纽约证券交易所每天产生超过1TB的数据。

品种:这是指生成的不同形式的数据,包括结构化,非结构化和半结构化数据。世界上80%的数据是非结构化的。

准确性:这是指数据的准确性和可靠性。由于不一致和不完整造成的数据不确定性导致公司损失总计达数百万美元。

价值:价值意味着数据以洞见的形式提供给企业的收益和优势,而这种洞见是通过分析和挖掘海量数据形成的。

大数据和物联网的交集

由于遍布全球的众多传感器和智能设备,物联网触发了数据或大数据的淹没。只有大数据技术和框架才能处理这样庞大的数据量,这些数据量可以传输各种类型的信息。物联网的数量增长越多,就需要更多的大数据技术。在这个领域内,机构需要将重点转移到实时易于访问的丰富数据上。这些数据会影响客户群,并可通过挖掘产生有意义的结论。来自传感器的数据应该被处理以实时发现模式和见解,以推进业务目标。现有的大数据技术可以有效利用传入的传感器数据,将其存储起来,并使用人工智能进行高效分析。实际上,对于物联网处理,大数据是燃料而人工智能是大脑。

物联网和大数据交叉带来的收益

目前,所有物联网活动的一半以上都在交通,制造业,用户应用,智能城市等领域。物联网将通过以下方式创造新的商业机会。

新的商业模式:公司可以为客户创造价值流,缩短上市时间并快速响应客户需求。

关键任务系统的实时信息:公司可以快速收集有关产品和流程的数据,并提高市场敏捷性。

收入流的多样化:除了传统的商业服务外,企业还可以提供更多的服务。

全球知名度:企业可以更好地了解他们的业务,比如追踪组件从供应链的一端到另一端的路径,这可以降低偏远地区的业务成本。

高效,智能的操作:公司可以访问来自独立终端的信息,以便对销售,物流等做出即席的决定。

数据存储解决方案:PaaS 随着来自物联网的机器数据连续流需要巨大的物理存储,机构正在迁移到PaaS(平台即服务)。这消除了公司拥有自己的存储基础架构的需要,而如果使用自己的存储基础设施的话需要持续扩展以适应日益增长的数据。PaaS提供简单的可扩展性,合规性,灵活性以及专门用于处理物联网数据的复杂架构。此外,可以选择私人,公共或混合云平台。私人平台仅面向单一组织,因此数据不会与外部数据共享物理边界。公共平台面向许多组织,并且在单个物理存储实体上对存储空间进行逻辑分离。混合平台也像公共平台一样共享,但共享存储方通常属于同一商业领域,这有益于他们利用定制结构的优势,而这种定制结构有利于他们领域。

物联网的大数据技术

第一阶段包括从物联网连接的设备接收事件。Wi-Fi,蓝牙等可用于将设备连接到接收器。通知用户有关事件的消息必须通过有效的协议发送给代理。MQTT(消息队列遥测传输)是一种流行的代理间传输协议。Mosquitto是MQTT代理广泛使用的版本。

在第二阶段,在接收数据时,Hadoop和Hive通常用于存储数据。Apache CouchDB是一款NoSQL数据库,由于其低延迟和高吞吐量,非常适合物联网。无模式数据库有助于改变机器数据。Apache Storm是实时处理和Apache Kafka用于中间消息代理的首选。

物联网大数据的一般体系结构

上下文数据层:这将收集用于后续IoT数据处理的外部非IoT数据作为额外的上下文/元数据,例如开始/停止数据馈送。

物联网服务层:处理设备之间的交互以从物联网设备收集数据并向其发送控制命令。双向通信由该层处理。

数据/协议中介:它负责在数据在其被数据和控制层发布前将数据保存在协调的数据实体中。该层是独立的并确保一致性。

数据/控制代理:这允许第三方应用程序发起查询或API访问协调数据实体。它还控制来自应用程序层的请求。

同行API访问管理:这与同行企业进行交互以发布相关的上下文数据。

开发者API访问管理:它控制统一数据实体(上下文数据和物联网)的权限,并帮助控制提供给第三方应用程序的服务。访问控制,认证和授权是在这里管理的。隐私和安全是其主要职责。

物联网/大数据存储:数据和控制代理的控制下,这可以提供短至中等的数据存储功能。在临时数据关系中可以找到深入见解。Apache Hadoop,Apache Cassandra,MongoDB等是常用的。Neo4J和Tital是日益用于社交媒体相关数据的图形数据库。

物联网/大数据处理:分析和商业智能程序在这里进行。分析包括探索统计关系的常规方法以及使用分析引擎通过预定义流程生成输出。智能意味着人工智能和机器学习的使用,为预测结果与预期结果之间的匹配创建适应性算法。Apache Spark,Apache TinkerPop3,Apache Mahout和TensorFlow被广泛使用。

图2:物联网大数据的体系结构

大数据和物联网的使用案例

车队管理:许多运输公司都携带传感器来监控驾驶员的行为和车辆的位置。好的驾驶技能和道路安全行为得到保险公司的奖励。通过提供所有机械和电气组件的详细机器日志数据,物联网为远程信息处理提供了一个优势。全球物流公司UPS广泛使用该技术来监控车队车辆的速度,行驶里程,休息停靠,油耗,发动机使用情况等。因此,该公司减少了有害排放和燃料消耗。

卫生保健:可穿戴式健身追踪器和医疗应用程序帮助人们监控他们的健康状况。来自这些设备的数据可用于追踪如血压,糖水平等参数,以及预先诊断感染疾病的可能性。Preventice公司整合了应用程序,手机,笔记本电脑,平板电脑和云等,用于远程病人监控。该公司允许客户的医生在线监测其健康状况,以避免常规检查。Proteus是一家初创公司,其药丸中含有传感器,可用于检查患者是否遵医嘱。

农业:约翰迪尔是一家销售农场设备的跨国公司。它监测各种参数,如土壤湿度水平等。数据发送到一个集中管理平台,根据湿度水平,可以提醒农民何时进行灌溉。这可以防止不必要的灌溉,避免特定地区的水资源集中。

在广泛使用大数据和物联网中的障碍

标准:为了物联网的高效工作,应该有一个被设备和应用程序服从的预定义框架,以通过无线或有线网络安全地交换数据。OneM2M是发布主要技术巨头设定的首选标准的组织。该公司的消息人士坚持认为,不同行业之间应该具有互操作性,以便通用平台连接智能电表,汽车,手表,起搏器等。

安全和隐私:在记录人体生命体征的生物传感器等一些敏感应用中的安全性应该受到保护,以防止侵犯隐私。国家基础设施相关数据对于国家安全至关重要,应该采取适当的保护措施防范黑客。智能家居锁系统,工业安全传感器等都需要防范可以非法侵入的恶意用户。物联网具有优势,因为它可以通过互联网进行操作,但由于这个原因,物联网风险很大。互联网可能被入侵者破坏,并且设备可能被错误地使用。

网络和数据中心基础设施:由于数据洪流,数据中心和基础设施将受到威胁。流量可以爆发或连续,主要在应用和传感器之间。

分析工具:物联网管理非常复杂,构建洞察分析并非易事。各种平台使用不同的语言,专业人员必须接受培训以应对每个平台。

技能:物联网和大数据是多学科的,专业人士需要两个领域的工作知识。由于这些主题相对较新,因此需要对老派技术工作者进行培训并熟悉新技术。业务分析师必须确定能够最好地提取数据并向客户呈现结果的问题。数据科学家需要使用分析工具来获取深入意见并进行技术工作。

大数据和物联网互为补充,以发挥各自的优势。技术世界已经意识到它们的重要性,大数据+物联网产业将成为数十亿美元的业务,研究人员和IT公司开始认识到这种炒作背后的潜力。这个联盟是技术的未来,并将从根本上改变我们周围的世界。

本文的版权归 诗酒趁年华呐 所有,如需转载请联系作者。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏web前端教室

先行者~问答栏目,今晚面向先行者计划成员开放

【知识星球】,是一个微信小程序,可以不用安装其它app,直接在微信里登录、查看。我在里面创建了几个栏目,其中的“先行者~问答”栏目,今晚开放。

10530
来自专栏FreeBuf

企业承受的攻击面扩大,安全应该考虑网络层以外的东西

威胁企业安全的新技术频出,相关负责人应采用更全面的企业风险管理方法。 数十年以来,企业和组织都将其安全工作的重心放在网络边界防御,以及如何加强服务器、计算机和网...

20880
来自专栏云计算D1net

数据中心基础架构将迎来巨大变革

今年数据中心的基础架构可能会经历巨大的变革,但是大部分的关注点会在软件定义架构和云计算、裸机方面。这一点上来看,对于服务器而言,可能会成为一段相当兴奋的时间段,...

316100
来自专栏云市场·精选汇

案例 | 养花不用浇水?种植还能这么玩....

优然家是北京向东科技有限公司旗下全新品牌,是一家专业从事智能化系统设计、研发、实施于一体的高新技术公司。

275110
来自专栏华章科技

Amazon CTO:别等待完美,不断从错误中学习

“人只要奋斗,就会犯错。”德国大诗人歌德早在 200 多年前就已经知道这个了。他的这句名言放在今天依然适用,不过有一个重大的区别:光有奋斗还不够。你一定要比别人...

7120
来自专栏ThoughtWorks

为数字化企业注入安全基因|商业洞见

企业面临的安全挑战已经发生改变 如今,越来越多的企业选择部署移动技术和数字化来强化自己的业务,传统的业务模式在新的技术革命中面临新的安全问题和挑战。这些挑战集中...

41160
来自专栏云计算D1net

混合云的5个安全注意事项

如今,即使企业的基础架构、应用程序以及数据在云中,也不要以为在遵守法规方面就可以有所偏离。因为企业仍然需要对数据的安全负责。 虽然企业可能牢牢掌握了其私有网络中...

36580
来自专栏企鹅号快讯

物联网安全迫在眉睫,如何让物联网攻不可破?

如今,快速发展的物联网设备确实能够在日常生活中为人们提供帮助,通过提供连接和智能服务,可以使人们的生活更轻松。然而,当人们进入这个新的技术阶段时,必须集中精力提...

36460
来自专栏架构师之路

带团队,boss需求怎么处理?

15年调到到家后,很长一段时间,我的leader是James,他给了我充分的信任与足够的支持,让我有机会对58到家技术体系做一个雏形的搭建。

10820
来自专栏非著名程序员

Google Play 入华第一步:谷歌对中国开发者提供全套应用商城服务

作为 Android 生态系统中第一大应用分发平台,Google Play 一直是安卓应用开发者获利最大的福地,然而中国的开发者却无法享受谷歌的商城服务。过去,...

21880

扫码关注云+社区

领取腾讯云代金券