IBM运用机器学习技术解决能源、食品等宏观问题

据外媒(www.top500.org)报道,IBM公司在2017年1月发布了几项预测,其中一项预测与他们称之为“显宏镜(macroscope)”的软件概念有关,这种软件技术可用于分析物理世界复杂性。IBM预测,五年内,此类技术可“帮助我们无限深入地了解地球的复杂性”。

无论是否有所夸大,该技术的目标在于,通过对各种数据来源应用机器学习算法,更好地管理地球的资源以及使用这些资源的商业行为。这些数据包括地理空间数据(气候、土壤、水资源等)以及关于经济、社会和政治条件的数据。构想是更精确地管理食品、水和能源等事物。这些全都与IBM“智慧的地球(Smarter Planet)”这一概念不谋而合。

“显宏镜”技术由IBM研究院(IBM Research)物理分析团队的一组科学家负责开发。该团队的研发经理认为这项工作是大数据和物理学的融合,他将其称为“物理分析”领域。这个术语可能比“显宏镜”更有意义,“显宏镜”用隐喻指代用于测量大型对象的技术。这项技术的核心在于分析能力,而不在于测量。

“我们团队在物理模型、机器学习、传感器、数据管护和大数据技术方面的专业知识已被用于可再生能源、精准农业和能源管理等应用领域。”研究人员写道,“现在,我们正牵头公司在物联网(IoT)领域的研发工作。这个领域正在快速发展,是传统计算机互联网向物理对象互联网的延伸。”

处理物联网数据是巨大的挑战。据美国信息技术咨询公司高德纳(Gartner)估计,2015年共有超过64亿台物联网设备处于运行中,并且这一数据在以每天约550万台新设备的速度增长,由此可得出同比增长约30%。鉴于这一流式数据量代表了(每月数十艾字节),没有任何单独的系统能够存储这些数据,更不用说对其进行分析了。

但是,针对特定问题管理此类全球数据的子集当然是可行的。“显宏镜”技术在IBM物理分析集成数据存储库和服务(Physical Analytics Integrated Data Repository and Services,PAIRS)中得以初步实现,这是一个能够集合、检索和分析地理空间数据集的平台。该平台采集来自各个公共和私有存储库的原始数据。这些来源包括美国航空航天局(NASA)、美国农业部(US Department of Agriculture)、美国海洋和大气局(NOAA)和英国气象局(Met Office),以及其他互联网网站。传统地理信息系统(GIS)的数据分散在不同来源中,需要用户来处理不同的格式,完成数据管理工作,而IBM物理分析集成数据存储库和服务则与之不同,它提供管护“数据即服务”功能。

该平台动态监视网页和文件传输协议(FTP)站点,寻找新数据,然后将其下载、过滤并重新映射到其内部数据存储中。它以Hadoop/Hbase服务器群集为中心,后者能够存储并分析数拍字节的数据。系统使用的数据索引编制方法“提供在空间上和时间上关联的数据层,适用于来自二维网格的数据(例如,卫星图像、天气、土壤、土地使用情况等)以及来自点位置的数据(例如,社交媒体数据、分布式传感器网络所提供的测量数据等)。该平台还为应用程序提供了用于查询数据库的应用程序编程接口(API)。

该技术最初的灵感来自IBM研究人员在2012年参与的精准农业项目。当时,美国嘉露酒庄(Gallo Winery)希望优化其葡萄园灌溉水的利用情况,因为这对于它在加利福尼亚州种植的12000英亩酿酒葡萄而言是一笔巨大的开销。借助实时气象数据和土壤传感器数据,以及卫星图像和历史天气记录,IBM研究人员成功地设计出了能够计算给定葡萄园最优用水方案的软件,通过IBM云服务对灌溉进行远程控制。三年后,他们在试验区实现了葡萄产出增长26%、用水效率提升15%。与此同时,葡萄品质提升了50%。

IBM研究院物理分析团队想要完善这些精准农业技术,在全球范围内推广部署,还希望将其扩展至灌溉应用以外的领域。通过应用适当的机器学习技术,作物品种选择、种植季节以及施肥方案都能得到优化。这些对于迫切需要解决食品供应问题和安全问题的地区而言都尤为重要。

研究人员指出,最大的阻碍在于管护。他表示,数据科学家把80-90%的时间都用在了清理、编制索引以及格式化数据上。他总结说:“我们愿景的核心是囊括了针对物理世界数据的新索引编制方案、智能认知数据管护、并行处理、大规模机器学习和物理学启发型机器学习在内的一组技术,这也是开发出按空间和时间收集、管护及搜索全球数据的平台的核心之所在。”

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-03-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯社交用户体验设计

在腾讯的八年,我的职业思考

2024
来自专栏无原型不设计

Mockplus设计大赛获奖选手专访 | Intimate:你的专属密友音乐播放器

“Intimate中文意思是密友,就是想让这个音乐APP成为最懂用户的一款软件。” 如果,你随身听的音乐APP,可以成为知你懂你的密友,你幸福,她清唱一首《...

3688
来自专栏知晓程序

公众号已经老了,小程序永远年轻

在微信既有的产品哲学里面,毫无疑问,信息流是不被认可的。信息流意味着低劣;意味着平台参与内容生产,打扰了用户,干预了内容,也增加了平台方的压力与工作量。

941
来自专栏大数据文摘

数据科学行业的8个关键角色:职责与技能

1906
来自专栏企鹅号快讯

微软或将投资利用人工智能对抗气候变化

人工智能 微软公司正在使用人工智能(AI)技术将大量有关地球气候、水、农业、和生物多样性等的原始数据转换成有用的信息。 微软宣布将投资5000万美元,使用人工智...

2086
来自专栏申龙斌的程序人生

读书笔记:新生--七年就是一辈子

有关GTD的文章主要都是上周休假时准备的,可惜微信上每天只让群发一条,这周有关GTD的文章更新放慢,先把博客上的一篇笔记放出来。 看到微信公众号(周叶的再别康桥...

3938
来自专栏全栈工程师成长之路

如何做一个优雅的程序员如何构建适合自己的学习体系

43017
来自专栏大数据文摘

剧透人生!你什么时候结婚换工作甚至狗带,Facebook都知道

你关心的这些人生重大节点,有人希望比你提前知道它们何时发生,并基于此对你精准投放广告。

1463
来自专栏java达人

程序员成长路上常见的坑(2)

1. “博”与“专”上的迷失 假设说一个人的学习已经聚焦,并且学习的内容和自己实际参与的项目也相吻合,那么是不是就没有问题了?很不幸,答案仍然是否定的,在任何一...

2347
来自专栏EAWorld

六种不同的结对编程模式对比

作者:Erik Dietrich 译者:月满西楼 原题:Compare 6 Different Pair Programming Styles 专业编程领域...

3395

扫码关注云+社区

领取腾讯云代金券