IBM运用机器学习技术解决能源、食品等宏观问题

据外媒（www.top500.org）报道，IBM公司在2017年1月发布了几项预测，其中一项预测与他们称之为“显宏镜（macroscope）”的软件概念有关，这种软件技术可用于分析物理世界复杂性。IBM预测，五年内，此类技术可“帮助我们无限深入地了解地球的复杂性”。

无论是否有所夸大，该技术的目标在于，通过对各种数据来源应用机器学习算法，更好地管理地球的资源以及使用这些资源的商业行为。这些数据包括地理空间数据（气候、土壤、水资源等）以及关于经济、社会和政治条件的数据。构想是更精确地管理食品、水和能源等事物。这些全都与IBM“智慧的地球（Smarter Planet）”这一概念不谋而合。

“显宏镜”技术由IBM研究院（IBM Research）物理分析团队的一组科学家负责开发。该团队的研发经理认为这项工作是大数据和物理学的融合，他将其称为“物理分析”领域。这个术语可能比“显宏镜”更有意义，“显宏镜”用隐喻指代用于测量大型对象的技术。这项技术的核心在于分析能力，而不在于测量。

“我们团队在物理模型、机器学习、传感器、数据管护和大数据技术方面的专业知识已被用于可再生能源、精准农业和能源管理等应用领域。”研究人员写道，“现在，我们正牵头公司在物联网（IoT）领域的研发工作。这个领域正在快速发展，是传统计算机互联网向物理对象互联网的延伸。”

处理物联网数据是巨大的挑战。据美国信息技术咨询公司高德纳（Gartner）估计，2015年共有超过64亿台物联网设备处于运行中，并且这一数据在以每天约550万台新设备的速度增长，由此可得出同比增长约30%。鉴于这一流式数据量代表了（每月数十艾字节），没有任何单独的系统能够存储这些数据，更不用说对其进行分析了。

但是，针对特定问题管理此类全球数据的子集当然是可行的。“显宏镜”技术在IBM物理分析集成数据存储库和服务（Physical Analytics Integrated Data Repository and Services，PAIRS）中得以初步实现，这是一个能够集合、检索和分析地理空间数据集的平台。该平台采集来自各个公共和私有存储库的原始数据。这些来源包括美国航空航天局（NASA）、美国农业部（US Department of Agriculture）、美国海洋和大气局（NOAA）和英国气象局（Met Office），以及其他互联网网站。传统地理信息系统（GIS）的数据分散在不同来源中，需要用户来处理不同的格式，完成数据管理工作，而IBM物理分析集成数据存储库和服务则与之不同，它提供管护“数据即服务”功能。

该平台动态监视网页和文件传输协议(FTP)站点，寻找新数据，然后将其下载、过滤并重新映射到其内部数据存储中。它以Hadoop/Hbase服务器群集为中心，后者能够存储并分析数拍字节的数据。系统使用的数据索引编制方法“提供在空间上和时间上关联的数据层，适用于来自二维网格的数据（例如，卫星图像、天气、土壤、土地使用情况等）以及来自点位置的数据（例如，社交媒体数据、分布式传感器网络所提供的测量数据等）。该平台还为应用程序提供了用于查询数据库的应用程序编程接口（API）。

该技术最初的灵感来自IBM研究人员在2012年参与的精准农业项目。当时，美国嘉露酒庄（Gallo Winery）希望优化其葡萄园灌溉水的利用情况，因为这对于它在加利福尼亚州种植的12000英亩酿酒葡萄而言是一笔巨大的开销。借助实时气象数据和土壤传感器数据，以及卫星图像和历史天气记录，IBM研究人员成功地设计出了能够计算给定葡萄园最优用水方案的软件，通过IBM云服务对灌溉进行远程控制。三年后，他们在试验区实现了葡萄产出增长26%、用水效率提升15%。与此同时，葡萄品质提升了50%。

IBM研究院物理分析团队想要完善这些精准农业技术，在全球范围内推广部署，还希望将其扩展至灌溉应用以外的领域。通过应用适当的机器学习技术，作物品种选择、种植季节以及施肥方案都能得到优化。这些对于迫切需要解决食品供应问题和安全问题的地区而言都尤为重要。

研究人员指出，最大的阻碍在于管护。他表示，数据科学家把80-90%的时间都用在了清理、编制索引以及格式化数据上。他总结说：“我们愿景的核心是囊括了针对物理世界数据的新索引编制方案、智能认知数据管护、并行处理、大规模机器学习和物理学启发型机器学习在内的一组技术，这也是开发出按空间和时间收集、管护及搜索全球数据的平台的核心之所在。”