被耽误的模型：多方牵制下，一个高效的市政AI项目如何惨败退场

大数据文摘出品

来源：Atlantic.com

编译：Jiaxu、狗小白、雪清、Aileen

城市供水一直是美国密歇根州弗林特市的一大市政问题：该市有成千上万的房屋仍然在使用铅制管道，其中的毒金属会逐渐渗入供水系统，给市民身体健康造成巨大威胁。

解决这个问题并不难：只要用更安全的铜管替换铅管即可。

但是，没人知道弗林特市的哪些房屋装有铅管。弗林特市的管道记录不完整且不准确，而一个个把管道挖出来确认非常昂贵耗时。

这对于计算机科学家们来说是个典型的预测问题。因此，在谷歌的帮助下，志愿者计算机科学家设计了一种机器学习模型，以帮助预测哪些房屋可能有铅管。利用人工智能预测，帮助市政部门通过已知条件，找到存在问题的管道，挖掘更换。

时间轴拉到2017年，工人们在这一模型的辅助下，检查了8,833所房屋，对其中6,228所房屋进行了管道更换，准确率达到70％。

如此优秀的表现让市政府对模型的作用大为赞赏，2018年，弗林特市政府签约了一个大型的国家工程公司AECOM，投资500万美元以“加速”该计划进展。

弗林特市政府的投入当然有了回馈。“项目进行得很顺利”，弗林特市市长Karen Weaver向记者这样说，“我们的进度比预计快了一年，并且花销完全控制在预算之内。”

显然，不出意外的话，这一项目将很快完工，并成为机器学习辅助市政建设的典型案例。

但是，事情的发展却和所有人的预期背道而驰。

2017年11月，根据当地新闻媒体MLive的Zahra Ahmad所作的会议记录，该市的公共工作负责人估计弗林特的大约10,000个家庭仍存在铅管，这一结论大致与其他专家的意见一致。

然而新承包商并没能有效地找到这些管道：截至2018年12月中旬，在已探索的10,531处房产，只有1,567处已找到了需要更换的铅管。铅管的预测准确率在一年中下降到了15%。

项目减速当然是有原因的——AECOM放弃了引导挖掘的机器学习模型的预测结果，开始对城内选定街区的每个房子里挖掘。

投资的数百万美元打了水漂，在计划的项目截止时间，弗林特市仍有数千人的房屋还有铅管。

而在各方压力下，一个高效的人工智能模型惨败退场。

机器学习预测模型的建立，准确率高达80%！

弗林特市的铅管更换项目本该是一个成功应用人工智能，造福城市的故事。

相关科学家——乔治亚理工学院的计算机科学家Jacob Abernethy在10月份的谷歌AI for Good会议上，还雄心勃勃地描述：一个志愿者团队是如何构建该系统，以高效预测哪些家庭最有可能拥有铅管。

计算机科学家发现，信息系统不完善是该市的主要问题之上。确切地说，没有人知道铅管的具体位置。

弗林特市虽然留存了部分数据：成千上万记录包裹链接的旧卡片，以及多年前的地图和小更新，但是其编目系统十分老旧；2016年2月，密歇根大学的Martin Kaufman利用城市记录建了些城市铅制管道标示的地图。

McDaniel上校被指派负责这一项目，他的团队决定利用这些地图，再基于房屋建筑年限和环境质量局对水污染最严重的粗略估计，来初步土地开挖规划先后次序。

McDaniel去了解了，哪些人更受到水源铅过度的影响，答案是“年幼的、年老的和免疫系统较差的人群”，因此他们再优先考虑家中有5岁以下小孩和70岁以上老人的家庭建筑。

综合以上这些考虑因素，这个团队大概有了动手的方向。

McDaniel首先在每10个小区域里替换600个铅制管道，他表示，这就是在权衡成本效率以及整个城市范围内的公平性。

当Abernethy和他的同事，密歇根大学的Eric Schwartz在2016年夏天加入这个项目时，他们发觉这是一个熟悉的预测问题：在不确定情况下的连续性决策。项目组并没有全部的信息，但他们仍然需要对“接下来挖哪儿？”这一问题作出最好的解答。

每一次新的开挖结果又能反馈回模型来提高其预测准确性。

最初他们几乎没有数据。

2016年3月，只开挖了36家的管道。即使当项目组开始了成千上万的挖掘，他们也只在挖可能存在铅制管道的地方，也就意味着他们返回的数据是有偏差数据。只用这些数据，模型很可能高估弗林特市里铅制管道的数量。

于是，密歇根大学团队要求Fast Start项目人员利用一个成本更低的系统“hydrovacing”(水流挖掘)来勘测铅制管道，也就是不用挖土机，而是用水流来找管道。这些低成本的挖掘中返回的数据，使得研究者能够更好更准确地判断城市的不同区域。

随着对模型的不断修正，他们找到了最可能存在铅制管道的三个重要的决定因素：房屋的建筑年限、市场价值和位置。最重要的是，他们的模型对预测哪里有铅制管道变得非常准确，在2017年间，承包商找到铅制管道的命中率不断提高。

McDaniel告诉我，“我们在2017年年底达到了80%以上的模型预测准确性”。

2018年12月4日弗林特市市长举行关于该市铅管更换进展的新闻发布会

技术以外：低效管理和多方牵制

在2017年年底，Weaver宣布弗林特市要与国家最大的几家承包商之一——AECOM签署5百万美金的合同，来运作这个项目。

AECOM发布的计划称，他们意图“每年高效地找到和替换6000条铅制管道”。

这个目标很合理，因为2017年里无组织而绝大部分都是志愿管理的团队，已经找到且替换了6000条运作的铅制管道。

正如在社区论坛会议上表明的那样，承包商接下来将分两步走：首先，他们将对承包商圈出的10块区域进行水流挖掘。之后，当找到铅制管道后，他们会开挖，替换铅制和镀锌钢的管道。

但AECOM团队，在正式开始之前就遭遇了滑铁卢。

阻挠力一：交接问题。

2018年10月下旬，项目经理Alan Wong向我透露，在McDaniel团队与AECOM团队交接工作的时候就开始出现问题：Wong的团队本应紧接着McDaniel那边合同到期，在2017年10月就开始工作，但AECOM的合同直到2017年12月28日才真正签署下来。“我们本可以有10月、11月和整个12月来磨合出一个顺利的交接过程，但它没能实现。”

此外，AECOM似乎完全没有继续使用项目最核心的预测模型。

据一次法庭声明，在最后看似积极乐观的几次讨论后，来自密歇根大学的Schwartz从2018年1月到5月发了5封邮件给Alan Wong，但没收到一封回信。

Wong表示，他们公司拿到的只是一张图片格式的城市热力图。但是另一边的Schwartz表示，他们团队提供了包含城市中所有地址里可能存在的高可能性地点的完整数据库。

AECOM几乎是完全从头开始进行这个项目。项目团队开始重新面对项目最初的问题——数字化工程。Wong声称其公司无偿做的将数据电子化的工作按计划本应在1月完工，但实际直到5月才真正完成。

阻挠力二：模型解释性问题。

与此同时，Weaver要求AECOM对城市里所有地区，每一个区域都进行勘测。

Wong回应称，市政管理者不想向市民解释为什么他们的区域里没有勘测行为。于是AECOM就全市范围内划出10块区域，最开始在每块区域里给下游承包商都划了约600个需要勘测的地址。

但问题是，铅制管道并非均匀分布于城市中。

真正找出来的铅制管道数量、密歇根大学模型的预测结果，以及城市记录、建筑历史数据，都清晰地表明，这些铅制管道集中在小部分范围里，绝大多数都分布在城市核心的老旧城区，比如第五区，而像第二、第四或第七区这些外围区域里的铅制管道分布很少。

阻挠力三：实际施工中的“公平性”问题。

接着，2018年年中的时候，人们在原本应该是铜制的管道中发现了一些铅。通常情况下，水流挖掘系统“钻”出的洞口要比挖土机挖出的小，但这会留下一些难以注意到的铅屑。

市长决定放弃最初决定的水流挖掘系统，转而采用黄金标准的传统方法。“你能得到100％的保证，而这就是我们的价值”，Weaver告诉我。

AECOM曾计划在全市范围内安装水流挖掘系统，以此作为识别铅的一种手段，这一变化无疑给该公司的计划蒙上了一层阴影。

其他的变化也相伴而来。市长决定在项目官员认为可能会找到铅的地区对每一处房屋进行挖掘，而不是跳过那些模型显示可能没有铅管道的房屋。

“当我们开始做这个时，人们会说，‘你们检查了我邻居的房子却没有检查我的’”，Weaver说。

“这座城市不想让任何人掉队”，Wong告诉我。

这在政治上是有道理的，但它不仅大大增加了“修复项目”的成本，还对该项目抽离城市剩余的铅管道的速度有严重影响。在弗林特的外围区域，一片片的房屋被挖掘，但并没有发现铅，如下图所示的10区东部区域，蓝色代表铜管，红色代表铅或镀锌钢管。

在该地区有数百户人家的管道被挖掘，但它们都不是由铅或镀锌钢制成的。

图注：2018年管道挖掘活动的地图，铜管显示为蓝色，铅或不锈钢管为红色。在框出的三个区域内，承包商挖掘了大量的房屋，却几乎没有发现铅管。（弗林特市）

一项新的指令已经开始下达：以最密集的方式挖掘城市中每一个活跃的用水地带。否则，市民们可能会一直怀疑自家是否有铅管。

“项目经理需要告诉市民们必须相信计算机模型”，Wong告诉我，“而市民们是不会买账的”。

被错误管理方式耽误的正确模型

为什么花了重金投资的AECOM公司的准确率会低于2017年松散的志愿者团队（McDaniel）？

这个问题不难解释。

McDaniel在该市铅浓度最高的地区工作，他的团队通常遵循模型的预测；AECOM和市政府则在整个弗林特搜寻，沿着某些街区检查每栋房子。

此外，该市的铅管服务线路比原先估计的要少：早期的估计是2万至3万根城市管道由铅或镀锌钢制成，事实证明这个数字太高了。

美国自然资源保护委员会(NRDC)一直在起诉该市实施该项目的方式，认为其调解书上的核心优先事项——去除铅——已经被搁置。即使考虑到上述因素，承包商发现铅的比率也已经急剧下降，无法用项目合理的后勤调整来解释。这不必要地延长了市民家中铅管存在的时间。

Schwartz在一份法庭文件中估计，该市有4,964至6,119户房屋存在危险管道。下面的地图中，红色部分显示人工智能研究人员预测安装有危险管道的可能性超过90％的区域；蓝色部分表示不太可能有铅或钢管的区域。

图中的小黑点则是AECOM团队在2018年11月完成的工作。如果模型大体上是正确的，那么稍稍一瞥可以发现，他们的工作恰恰避开了最有可能需要更换输水管道的地区。

图注：一个家庭拥有铅管(红色)或铜管(蓝色)的可能性的地图；黑色表示城市的挖掘活动。

“令人不安的是，政府无法解释他们是如何选择挖掘区域的”，NRDC律师Dimple Chaudhary说道。“这个模型在描述‘这里有铅’这方面做得很好，并且说明了他们正在错误的地方挖掘。”

举个最突出的例子，预计第五区（全市一共被分为3,774 个区）将有最多的铅管道。密歇根大学(University of Michigan)的模型估计，工作人员在该地区发现铅的几率为80%。

然而，从2018年1月到8月，AECOM承包商在那里进行了最少的挖掘工作，在该地区总共只进行了163次挖掘，而在其中156次中发现了铅管——占了将近96%。与此同时，在第二区对1,220所房屋进行了调查，其中只有46个发现了铅，只有4％的命中率。AECOM在Schwartz和Abernethy的模型预测的含铅管道比例最小的两个区挖掘得最多，结果验证了模型的预测。

看到这些数据，为承包商的工作提供补偿的州政府表示，由于该项目的管理方式，它将暂停向市政府拨款。“市政府像是做出了一项政策决定，停止优先挖掘那些预计会发现铅或镀锌钢服务管道的房屋”，司法部指出。

现在，弗林特市政府，自然资源保护委员会(NRDC)，州政府和AECOM公司正在就回归到2017年使用的机器学习模型进行谈判。AECOM的合同已经更新，似乎包括了回归到机器学习模型。另外将有110万美元的拨款用于该公司今后的工作。

市政府官员在实施一项雄心勃勃的、艰难的计划方面做出了真诚的努力：Weaver做出了重要决定，他认为这些决定保护了她所在城市所有居民的健康和安全；AECOM声称它已尽力而为。

但是，尽管诚意满满，一个事实却不容忽视：当初只要继续实施2017年计划的方法，在2018年也许可以将几乎所有剩余的铅都抽离这座城市。

现在，弗林特市依然有超过千户家庭，在饮用水的时候对毒铅会忧心忡忡。

相关报道：

https://www.theatlantic.com/technology/archive/2019/01/how-machine-learning-found-flints-lead-pipes/578692/

志愿者介绍

听说点了「好看」的人都变好看了哦