IBM运用机器学习技术解决能源、食品等宏观问题

据外媒(www.top500.org)报道,IBM公司在2017年1月发布了几项预测,其中一项预测与他们称之为“显宏镜(macroscope)”的软件概念有关,这种软件技术可用于分析物理世界复杂性。IBM预测,五年内,此类技术可“帮助我们无限深入地了解地球的复杂性”。

无论是否有所夸大,该技术的目标在于,通过对各种数据来源应用机器学习算法,更好地管理地球的资源以及使用这些资源的商业行为。这些数据包括地理空间数据(气候、土壤、水资源等)以及关于经济、社会和政治条件的数据。构想是更精确地管理食品、水和能源等事物。这些全都与IBM“智慧的地球(Smarter Planet)”这一概念不谋而合。

“显宏镜”技术由IBM研究院(IBM Research)物理分析团队的一组科学家负责开发。该团队的研发经理认为这项工作是大数据和物理学的融合,他将其称为“物理分析”领域。这个术语可能比“显宏镜”更有意义,“显宏镜”用隐喻指代用于测量大型对象的技术。这项技术的核心在于分析能力,而不在于测量。

“我们团队在物理模型、机器学习、传感器、数据管护和大数据技术方面的专业知识已被用于可再生能源、精准农业和能源管理等应用领域。”研究人员写道,“现在,我们正牵头公司在物联网(IoT)领域的研发工作。这个领域正在快速发展,是传统计算机互联网向物理对象互联网的延伸。”

处理物联网数据是巨大的挑战。据美国信息技术咨询公司高德纳(Gartner)估计,2015年共有超过64亿台物联网设备处于运行中,并且这一数据在以每天约550万台新设备的速度增长,由此可得出同比增长约30%。鉴于这一流式数据量代表了(每月数十艾字节),没有任何单独的系统能够存储这些数据,更不用说对其进行分析了。

但是,针对特定问题管理此类全球数据的子集当然是可行的。“显宏镜”技术在IBM物理分析集成数据存储库和服务(Physical Analytics Integrated Data Repository and Services,PAIRS)中得以初步实现,这是一个能够集合、检索和分析地理空间数据集的平台。该平台采集来自各个公共和私有存储库的原始数据。这些来源包括美国航空航天局(NASA)、美国农业部(US Department of Agriculture)、美国海洋和大气局(NOAA)和英国气象局(Met Office),以及其他互联网网站。传统地理信息系统(GIS)的数据分散在不同来源中,需要用户来处理不同的格式,完成数据管理工作,而IBM物理分析集成数据存储库和服务则与之不同,它提供管护“数据即服务”功能。

该平台动态监视网页和文件传输协议(FTP)站点,寻找新数据,然后将其下载、过滤并重新映射到其内部数据存储中。它以Hadoop/Hbase服务器群集为中心,后者能够存储并分析数拍字节的数据。系统使用的数据索引编制方法“提供在空间上和时间上关联的数据层,适用于来自二维网格的数据(例如,卫星图像、天气、土壤、土地使用情况等)以及来自点位置的数据(例如,社交媒体数据、分布式传感器网络所提供的测量数据等)。该平台还为应用程序提供了用于查询数据库的应用程序编程接口(API)。

该技术最初的灵感来自IBM研究人员在2012年参与的精准农业项目。当时,美国嘉露酒庄(Gallo Winery)希望优化其葡萄园灌溉水的利用情况,因为这对于它在加利福尼亚州种植的12000英亩酿酒葡萄而言是一笔巨大的开销。借助实时气象数据和土壤传感器数据,以及卫星图像和历史天气记录,IBM研究人员成功地设计出了能够计算给定葡萄园最优用水方案的软件,通过IBM云服务对灌溉进行远程控制。三年后,他们在试验区实现了葡萄产出增长26%、用水效率提升15%。与此同时,葡萄品质提升了50%。

IBM研究院物理分析团队想要完善这些精准农业技术,在全球范围内推广部署,还希望将其扩展至灌溉应用以外的领域。通过应用适当的机器学习技术,作物品种选择、种植季节以及施肥方案都能得到优化。这些对于迫切需要解决食品供应问题和安全问题的地区而言都尤为重要。

研究人员指出,最大的阻碍在于管护。他表示,数据科学家把80-90%的时间都用在了清理、编制索引以及格式化数据上。他总结说:“我们愿景的核心是囊括了针对物理世界数据的新索引编制方案、智能认知数据管护、并行处理、大规模机器学习和物理学启发型机器学习在内的一组技术,这也是开发出按空间和时间收集、管护及搜索全球数据的平台的核心之所在。”

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-03-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据猿

中国移动(浙江)大数据专家汤人杰:浙江移动大数据平台的践行之路

<数据猿导读> 中国移动(浙江)大数据专家汤人杰在2016年中国信息通信大数据大会上发表了以“浙江移动大数据平台的践行之路”为主题的演讲。他讲到,浙江移动的平台...

2793
来自专栏CSDN技术头条

【BDTC 2015】互联网大数据分论坛:滴滴、百度、京东等大数据实践

2015年12月10-12日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办,...

2049
来自专栏华章科技

【揭秘】中国四大银行的大数据应用已到了哪个阶段?

对于大数据给企业带来的价值,已经毋庸置疑。在国内,银行业应该是IT建设更为领先的行业之一。特别中、农、工、建四大银行,更是走在整个银行业的前面。那么,他们对于大...

793
来自专栏云计算D1net

创新将会出现在云端,边缘还是其他地方?

行业专家认为,创新不会发生在云端,而是在边缘。然而,边缘计算也只是云计算的一种延伸。那么这意味着什么?因为云计算和边缘计算可能会一起工作。 创新对于保持业务相关...

3398
来自专栏云计算D1net

采用SaaS解决方案时必须避免的九大常见陷阱

投入云应用供应商怀抱的企业客户必须小心谨慎,以下九种潜在问题很可能给您的平稳过渡带来严重影响。 ? TL;DR “我同意”按钮之上,云应用供应商提供的大段声明当...

2754
来自专栏数据猿

天云数据副总经理李从武:大数据实践三部曲

<数据猿导读> 2016中国信息大数据通信大数据大会在京召开,天云数据副总经理李从武在大会上发表了以“大数据实践三部曲”为主题的演讲。他主要格局整个大数据从平台...

1903
来自专栏数据猿

【案例】恒丰银行——客户行为实时分析系统

数据猿导读 大数据客户行为实时分析系统采用大数据与实时流处理平台技术,从营销、风控、客户体验等多个业务视角满足渠道业务分析决策需求,帮助银行以产品为核心的经营模...

3487
来自专栏重庆的技术分享区

为什么你应该有一个数据治理策略

原文地址:https://dzone.com/articles/why-you-should-already-have-a-data-governance-st...

1956
来自专栏云计算D1net

在云中进行数据保护和恢复的最佳实践

近年来,围绕着数据管理的诸多讨论已经转向云服务作为一种低费用和高度可扩展的解决方案,可以通过任何互联网的连接访问方面了。然而,当涉及到在云中实施数据保护时,也有...

2467
来自专栏华章科技

我所经历的大数据平台发展史:互联网时代及数据模型

本篇幅将进入大家熟知的互联网时代,数据平台发展史仅是自己经历过由传统数据平台到互联网数据平台发展一些简单回忆,在这一篇章中将引用部分互联网数据平台架构,在这里仅...

1175

扫描关注云+社区