黑箱 | 21世纪一大难题：哪一种算法值得信任？

2016年10月18日， 世界人工智能大会技术论坛，特设“新智元智库院长圆桌会议”，重量级研究院院长 7 剑下天山，汇集了中国人工智能产学研三界最豪华院长阵容：美团技术学院院长刘江担任主持人，微软亚洲研究院常务副院长芮勇、360人工智能研究院院长颜水成、北京理工大学计算机学院副院长黄华、联想集团副总裁黄莹、Intel 中国研究院院长宋继强、新华网融媒体未来研究院院长杨溟联袂出席。

【新智元导读】21世纪，算法对人类的影响几乎已经渗透到生活的方方面面。但是，对于大多数人来说，算法能看到、理解到的只有输入和输出，其处理信息的过程是一个无法看清的“黑箱”，那么，什么样的算法值得信赖？网络搜索、社交网站或者新闻推送上经过算法处理后“智能”地呈现在你面前的结果到底可不可信？O’Reilly 在本文中提出了评价算法可信度的四个准则，并用谷歌搜索、Facebook新闻流以及无人车中的算法进行分析。

多年前，凯撒医疗机构的首席医学信息官John Mattsion 曾对O‘reilly 说，“21世界最大的难题将会是‘你信任哪一个黑箱？’” Mattson 谈论的，是算法在医药学中的重要性。但是，从更加广阔的层面上看，我们越来越多地把信任给予系统，而系统做决策的方法我们却无法理解。（黑箱的定义，就是我们只知道一个系统的输入和输出，但是如何从输入得到输出却无法理解）。

现在， 算法在塑造消费者体验上所扮演的角色受到的关注很多。但是，算法在塑造商业决策上的角色却很少得到关注。

例如，在理解算法如何改变我们从Google或者Facebook 这样的网站上看到的新闻上，多年来我们一直束手无策。Eli Pariser 曾提出过“过滤泡沫”（filter bubble） 的警告，指出，算法会改变我们的喜好，并且会不断地为我们提供信息，这些信息已经远超过我们想要的，这些信息很多时候只是重复，而不是另一些新的观点。这才是真的风险所在，也是搜索引擎和社交媒体公司在努力克服的一点。

但是，算法的黑箱还有更加深远的影响。比如，它会决定记者、作家和出版社的选择。获得搜索引擎或者社交媒体的关注，现在已经成为媒体的一个主要目标。如果想要业务运行得好，你就必须取悦算法。你曾有过在谷歌搜索或Facebook的新闻流上对结果进行优化的经历吗？如果两个必要的算法发生冲突，会发生什么？或者他们会什么时候突然发生改变？

当谷歌还是唯一的玩家时，搜索引擎优化（SEO）是非常简单明了的。谷歌提供了大量的工具，来帮助网页发行商理解谷歌的算法会对什么进行评估，什么样的东西会引起red flag。现在SEO已经形成完整的产业链，分为两种：白帽SEO 和 黑帽SEO。其中黑帽SEO 的一种形式就是开发“内容工厂”（Content farms），大量地搜集经过超链接的低质量内容（通常从别的网站抓取），让算法误以为这些内容是得到高度评价的。

2011年，当谷歌重新搜集搜索算法，打击“内容农场”时，许多采用这一方法的公司都遭受了重大损失。这些公司中有一些不得不歇业（这也是他们活该），另外的一些不得不改进自己的商业行为，以求得生存。

Facebook 上的内容发行商最近也经历了相同的事件。上个月，Facebook 宣布，正在对其新闻流算法进行升级，以打击带有“诱导连接”标题的新闻。Facebook 的目标值得称赞，正如谷歌一样：为了提供更好的用户体验。

谷歌和Facebook 都在使用“长点击”和“短点击”的概念作为衡量用户体验的一个方法。如果有人点了一个连接，然后又马上返回来了，那就说明该链接里的内容并没有很吸引他。如果他们隔了一段时间才返回，他们很可能是花了时间来追求结果。这是一个很好的信号，说明他们认为这个链接是有价值的。

回到黑箱的话题。Facebook的新闻流产品管理VP Adam Mosseri 在接受TechCrunch 的采访时说，“Facebook 将不会公布定义诱导链接的方法，因为可能会被破解”。

由于影响现实世界的很多算法都是黑箱，有的是像Facebook 这样无法透露，也有的是因为即使是对开发算法的人来说，也无法搞清楚具体过程是什么，尤其是在深度学习领域。所以，信任的问题就变得至关重要。

学会如何在不具体了解算法规则的情况下评估算法，在今天是一个关键的能力。这也是可以做到的。以下是我个人的四个准则：

1. 算法的开发者肯定已经清楚地说明他们希望获得的结果，外人肯定也能对这些结果进行验证。
2. 算法的成功是可以评估的。
3. 算法开发者的目标与算法消费者的目标要一致。
4. 算法有没有帮助其开发者和使用者做更好的决策？

以下是几个例子：

谷歌搜索和Facebook 新闻流

1. 明确预期结果。谷歌和Facebook 都明确地表示，他们的算法把用户的利益置于广告主和内容发行商之上。由于目标已经很清晰，所以如果没能做到，就会容易引起质疑，但是也让对算法的评价变得简单。
2. 可测量性。硅谷的公司创造了A/B测试的文化，并且找到了测量自己的算法是否达到目标的方法。比如，谷歌有自己的搜索质量团队，使用上万个“Mechannical Turk”风格的审查者来对搜索结果进行评价。但是他们更加重要的衡量是基于实际的用户行为，比如长点击或短点击，或者人们会不会点击第一个搜索结果，或者第2个，或第10个。在广告方面，姑姑通过提供广告工具，用于测量点击次数来获得信任，这一商业模式只根据点击次数来收费。这种可测量性正是谷歌在商业上获得成功的秘诀，这种按点击次数收费的模式比之前按页面浏览次数的收费模式在可衡量性上要好很多。Facebook没有这样的收费模型，但是有“覆盖量”，也就是你的广告会出现在多少人的新闻流中。但是，广告又没有被人看到，却不知道。他们还提供了关于深度参与的评估——点击、分析或者回复的人数。
3. 目标一致性。从长期来看，谷歌和 Facebook 和其用户之间在目标上有着高度的一致性。 如果这两家机构一直不断向用户展示用户自己不想看的广告，用户可能会最终停止使用他们的服务。
4. 长期决策。在短期来看，平台和用户之间的目标具有一致性。但是从长期来看呢？

无人车

无人车热潮容易让我们忘记的是，无人飞机已经存在很长时间了。飞机的乘客都曾信任地把他们的生命交给自动控制仪器。虽然机舱里有飞行员，但他们并不像你以为的那样一直在控制着飞机。他们的工作更像是"仪器监察员"和"后备机制"。飞行员没有被机器取代，他们是被升级为机器的管理者了。他们要做的决策包括"由于空管站报告天气恶劣，需要调整飞机高度和航线"，或者"机上有人急病，飞机要在最近的机场降落"。军用无人驾驶飞机上也有这样的监察员，他们在地面上远程遥控飞机，也许距离飞机几千英里之远。

我几个月前也以为自动导航装置就是一种巡航控制器--控制飞机飞行，而起飞、降落这些重要操作要交由飞行员。并不是这样。我在去往蒙特利尔的StartupFest途中，有机会与飞机机长交谈过（甚至坐在了副驾驶座位上，亲身感受飞机的自动控制仪器如何精妙地自动调整，确保飞机在航线上平稳飞行）。

图片提供：Tim O'Reilly

机长告诉我的事情让我大开眼界，跟我以为的完全不一样。"像旧金山这样繁忙的航线，根本不可能手动操作起飞或降落。如果不能精确控制时间和高度，你得扰乱多少人的计划。""那什么时候你需要手动飞行？""空机的时候。"

有关飞机自动驾驶仪的4项测试：

1. 了解可能的后果。按照规定的路线把飞机从A地移送到B地。依据已知的航空学原则正确应对大风等天气状况。机场繁忙时减少拥堵。不要撞机。
2. 成功是可衡量的。通过大型电枢传感器和控制器让自动驾驶仪根据实时数据实现自动驾驶。GPS、高度传感器、空速、飞行姿态、乱流、等等这些都是影响因素。自动飞行成功的终极因素是：飞机的实际行动和物理以及航天规律之间的调整。当飞行失败（任何原因导致的失败--人为因素、机器、或不可控力）时，国家交通安全委员会需要深入调查分析原因，然后改进程序，减少同样事故再次发生的概率。
3. 目标校准。所有乘客都同意的目标是：不要撞机，尽可能快地把我送到目的地，飞行平稳。但乘客们也许有争论的是，航空公司决定优化燃油消耗而不是减少航行时间。飞行员们也不可能接受夺走他们的工作的目标。
4. 长期决策。长期来看，航空公司和飞行员间，或者航空公司和社会大众间的目标可能趋向一致。例如，飞行员会认为过度使用自动驾驶仪使他们无法得到充分的经验，在遇到必须手动控制飞机的意外时，增加了撞机事故的可能性。这是正确的观点。而升级成完全自动的无人机又成本过高。飞机仍然需要飞行员这个事实，也因为替换设备的成本过高，公众对完全无人飞机的不安以及航空公司飞行员协会要保护他的会员不失业。

这样的分析同样适用于无人汽车/卡车。无人车的目标很明确：避免所有事故，要比任何人工驾驶更加安全。这个目标也是可衡量的，自动驾驶系统运行的机会越多，"学习"的越多，达到目标的可能性越高。正如无人驾驶大神 Sebastin Thrun所说，自动驾驶汽车比人学习得更快，因为当一辆无人车犯了一次错误，其它所有无人车就都学到了避免犯同个错误的方式。

对于无人驾驶汽车来说，争论的集中在上述第3和第4条。人们得有“无人车是安全的”这一共识，才能开始谈论解决这个问题所需共享的数据。然后我们就可以讨论其它目标了。而当支持者的目标和某个算法的反对者不一致，我们就可以就哪些目标更有价值展开真正的争论。在许多领域，这样的争论发生在市场中，即亚当·斯密提出的"看不见的手"。但在无人车这个问题上，争论常常以政府调控的形式出现。

长期信任和主算法

让我们回到本文开头提出的主题：不同媒体中算法的角色如果你发现报道选举新闻时媒体并不深入实质性的问题，而是关注刺激性的消息，你对媒体的行为感到不解，可以用我的黑匣子规则来理解。

存在一种支配着我们的社会的主算法，抱歉 Pedro Domingos，这不是什么机器学习的强大的新方法，也不是什么政府规章。它是早在十几年前就被用于现代商业社会的规则，而且自那时起也没有受到过大的怀疑。那是一种观念，就是企业只需为它的股东负责。

就像CBS的董事长LeslieMoonves三月份说的，"特朗普要是竞选成功或许对美国来说不是件好事，但对CBS来说绝对是件大好事。"

这次选举不管对媒体或出版社还是Google和Facebook这样的平台来说都是个考验。当鼓励内容发行商的算法和对用户有利的算法不一致，Google和Facebook应当支持哪方？我们应当相信哪个"黑匣子"？