Facebook AI导致人被抓，谁来背锅？

前段时间和Bittiger的冯总聊天。他有一个伟大的愿望，每天更新，争取写一万篇文章。这个让我深受启发。我意识到也许每天写点东西不是一个坏事。很多时候写作习惯是需要养成的。也许我今天写的文章不怎么样，起码我也在写了。

今天聊的不是什么大的话题。看到全国人民都在为去不去金拱门吃炸鸡而困惑，想想自己在国外估计还是照样见不到金拱门，有点遗憾。

早上看到了这则新闻。新闻说一位在约旦河西岸的巴勒斯坦建筑工人在他的推土机旁边，说了一声早安。结果Facebook的AI自动翻译成了“伤害他们”。而以色列警方则根据Facebook AI提供的翻译服务，怀疑是要发动恐怖袭击，把人给抓起来了。

几个小时候，以色列里面懂阿拉伯语的警察读了这张照片的阿拉伯语留言，发现纯粹是场误会，才把人释放了。

这个事情里面有一些值得我们深思的地方。首先，就像人会犯错一样，AI也会犯错。很多人会说，这个会犯错其实不是问题。但是这个问题其实很大了。

我们之所以去用AI代替人类，最重要的还是AI的效率高，人类的效率低。效率高了，同等比例的犯错率，在绝对数量上就高了。如果说把AI使用到一些非常重要和可能造成巨大影响的事情下，这种效率带来的，可能就是更多的错误。

那么为了避免AI犯错，是不是我们需要人工去一一核实呢？这里有成本的问题。用AI当然是为了提高效率降低成本。人工需要在什么时候介入呢？我也不知道。

作为机器学习是体育老师教的我，知道在设计机器学习算法和模型的时候需要考虑precision和recall。在不同的应用环境下，precision和recall的重要性是不一样的。比如说在对癌症进行诊断的时候，把没有病的诊断成有病的，和把有病的诊断成没病的，当然是不同的。

然而现实里面实际上比这情况复杂。比如上面这位兄弟，也许Facebook做翻译的时候，肯定考虑过对的翻译错了和错的翻译对了之间的影响到底是个什么关系，于是制定了对应的presicion recall。

但是这不能防止第三方的人使用这个结果。而第三方其实是需要一个不同的precision recall的。比如说以色列警方这个例子。可是，我想让吃瓜群众，比如警察叔叔阿姨们，理解precision和recall是什么，对于AI的结果要怎么样去解释，无疑是太难了。

那我们面临的到底是一个把AI结果用错了的现实例子，还是一个从头到尾就没设计好的model呢？到底这个锅是Facebook背，还是警察去背？如果说这个社会的AI相关的东西越来越多，而AI的结果越来越可能被其他人作为输入去使用，对我们社会会是一个什么样的影响呢？我对AI所知有限。但是在我看来，这个影响恐怕也不太好估量。