IBM运用机器学习技术解决能源、食品等宏观问题

据外媒(www.top500.org)报道,IBM公司在2017年1月发布了几项预测,其中一项预测与他们称之为“显宏镜(macroscope)”的软件概念有关,这种软件技术可用于分析物理世界复杂性。IBM预测,五年内,此类技术可“帮助我们无限深入地了解地球的复杂性”。

无论是否有所夸大,该技术的目标在于,通过对各种数据来源应用机器学习算法,更好地管理地球的资源以及使用这些资源的商业行为。这些数据包括地理空间数据(气候、土壤、水资源等)以及关于经济、社会和政治条件的数据。构想是更精确地管理食品、水和能源等事物。这些全都与IBM“智慧的地球(Smarter Planet)”这一概念不谋而合。

“显宏镜”技术由IBM研究院(IBM Research)物理分析团队的一组科学家负责开发。该团队的研发经理认为这项工作是大数据和物理学的融合,他将其称为“物理分析”领域。这个术语可能比“显宏镜”更有意义,“显宏镜”用隐喻指代用于测量大型对象的技术。这项技术的核心在于分析能力,而不在于测量。

“我们团队在物理模型、机器学习、传感器、数据管护和大数据技术方面的专业知识已被用于可再生能源、精准农业和能源管理等应用领域。”研究人员写道,“现在,我们正牵头公司在物联网(IoT)领域的研发工作。这个领域正在快速发展,是传统计算机互联网向物理对象互联网的延伸。”

处理物联网数据是巨大的挑战。据美国信息技术咨询公司高德纳(Gartner)估计,2015年共有超过64亿台物联网设备处于运行中,并且这一数据在以每天约550万台新设备的速度增长,由此可得出同比增长约30%。鉴于这一流式数据量代表了(每月数十艾字节),没有任何单独的系统能够存储这些数据,更不用说对其进行分析了。

但是,针对特定问题管理此类全球数据的子集当然是可行的。“显宏镜”技术在IBM物理分析集成数据存储库和服务(Physical Analytics Integrated Data Repository and Services,PAIRS)中得以初步实现,这是一个能够集合、检索和分析地理空间数据集的平台。该平台采集来自各个公共和私有存储库的原始数据。这些来源包括美国航空航天局(NASA)、美国农业部(US Department of Agriculture)、美国海洋和大气局(NOAA)和英国气象局(Met Office),以及其他互联网网站。传统地理信息系统(GIS)的数据分散在不同来源中,需要用户来处理不同的格式,完成数据管理工作,而IBM物理分析集成数据存储库和服务则与之不同,它提供管护“数据即服务”功能。

该平台动态监视网页和文件传输协议(FTP)站点,寻找新数据,然后将其下载、过滤并重新映射到其内部数据存储中。它以Hadoop/Hbase服务器群集为中心,后者能够存储并分析数拍字节的数据。系统使用的数据索引编制方法“提供在空间上和时间上关联的数据层,适用于来自二维网格的数据(例如,卫星图像、天气、土壤、土地使用情况等)以及来自点位置的数据(例如,社交媒体数据、分布式传感器网络所提供的测量数据等)。该平台还为应用程序提供了用于查询数据库的应用程序编程接口(API)。

该技术最初的灵感来自IBM研究人员在2012年参与的精准农业项目。当时,美国嘉露酒庄(Gallo Winery)希望优化其葡萄园灌溉水的利用情况,因为这对于它在加利福尼亚州种植的12000英亩酿酒葡萄而言是一笔巨大的开销。借助实时气象数据和土壤传感器数据,以及卫星图像和历史天气记录,IBM研究人员成功地设计出了能够计算给定葡萄园最优用水方案的软件,通过IBM云服务对灌溉进行远程控制。三年后,他们在试验区实现了葡萄产出增长26%、用水效率提升15%。与此同时,葡萄品质提升了50%。

IBM研究院物理分析团队想要完善这些精准农业技术,在全球范围内推广部署,还希望将其扩展至灌溉应用以外的领域。通过应用适当的机器学习技术,作物品种选择、种植季节以及施肥方案都能得到优化。这些对于迫切需要解决食品供应问题和安全问题的地区而言都尤为重要。

研究人员指出,最大的阻碍在于管护。他表示,数据科学家把80-90%的时间都用在了清理、编制索引以及格式化数据上。他总结说:“我们愿景的核心是囊括了针对物理世界数据的新索引编制方案、智能认知数据管护、并行处理、大规模机器学习和物理学启发型机器学习在内的一组技术,这也是开发出按空间和时间收集、管护及搜索全球数据的平台的核心之所在。”

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-03-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯大数据的专栏

数据运营实战(一):细分目标人群,结合用户特征分析的实践

分群是精细化运营的常用方式。通过用户分群设置,将用户群切割成更细粒度,以推断并定位对关键事件/指标有明显影响的因子。

7101
来自专栏腾讯云技术沙龙

谭安林:大数据在智能外呼系统的应用

商业是一个价值交换的事情,并不是一个等价交换的事情,我们因为信息不对称,很有可能导致一些效应:赢者通吃。大家买一个什么东西,可能比较关注的是市场知名度比较高的,...

1925
来自专栏华章科技

漫画:什么是大数据

大数据是具有海量、高增长率和多样化的信息资产,它需要全新的处理模式来增强决策力、洞察发现力和流程优化能力。

725
来自专栏机器人网

机器人设计师面临哪些挑战?

由于工业机器人在速度、强度、精度及灵活性方面拥有诸多优势,因此被越来越多地用于各类应用中。随着机器人变得越来越轻并且在较高的负载下工作,传统的机器人设计方法...

3468
来自专栏华章科技

2017年大数据的十大发展趋势

研究人员称,会有越来越多的公司加速采用大数据技术。互联网数据中心(IDC)预测,到2020年大数据和分析技术市场,将从今年的1301亿美元增加至2030亿美元。...

270
来自专栏大数据文摘

吴甘沙:大数据的开放式创新

1606
来自专栏VRPinea

无线VR解决方案这么多,可为何迟迟不见成品推出?

3439
来自专栏产品成长日志

01数据产品经理从零到一:数据产品能力模型构建

笔者正在由电商产品经理转型数据产品经理,为了提升自己学习的效率,尝试以这种输出驱动输入的模式,将自己学习的思路和学习内容分享给大家,也希望可以与其他数据产品经理...

791
来自专栏钱塘大数据

【周末漫谈】一篇漫画,读懂大数据

大数据是具有海量、高增长率和多样化的信息资产,它需要全新的处理模式来增强决策力、洞察发现力和流程优化能力。 大数据通常都拥有海量的数据存储。仅根据2013年的统...

3716
来自专栏大数据挖掘DT机器学习

母婴电商贝贝网的大数据平台及机器学习实践

贝贝网的主要产品是垂直的母婴类,母婴相对一般的电子商务网站有一些特点:第一个特点是商品周期短,在母婴网站上的商品,在线的时间不会超过5-7天,第二个是用户需求的...

41013

扫码关注云+社区