Keras创建者深度思考：不要将AI作为操纵用户的工具

大数据文摘作品

编译：傅一洋、汪小七、一针 、云舟

本文作者是谷歌AI研究员、Keras创建者François Chollet。他在Medium的博文中特意指出，本文是他个人的看法，而读者要有自己的评判。同时，他也提出了对Feed内容推荐方式的一些改进，相信对“刷抖音一刷就是几个小时”的你会有所借鉴。

还记得曾风靡一时的“电脑恐惧症”吗？从上世纪的80、90年代一直到21世纪初，我们都能亲眼目睹这种现象：伴随着PC逐渐进入生活、工作和家庭，很多人对其感到了焦虑和恐惧，以至于去攻击计算机。

即便还是有少数人看到了计算机技术的潜力，看好计算机行业的发展，但是，多数人因为缺乏了解，认为计算机是深不可测的，如同外星人入侵一般，多方面威胁着人类。他们担心，人类会被技术所取代。

多数人都会反感技术的大转变，甚至会感到恐慌。似乎人类对任何变化的反应都是如此。但其实，我们所担心的事大都没有发生。

在这之后的几年中，PC爱好者已经逐渐能用计算机来谋求利益，计算机也并没有取代人类，或引发大规模的失业，而是成为了生活的重要组成部分——如今，我们无法想象没有笔记本、平板和手机的生活，曾经的威胁成为了依赖。

曾经担忧的事并没有发生，但是，计算机和互联网技术却带来了80、90年代的人们所未曾预料的危机：无处不在的监控，黑客对基础设施或个人数据的追踪，社交媒体平台带来的心理异化，人们耐心和专注力的丧失，肆虐于互联网的极端思想和言论等。敌对势力甚至可以通过劫持社交网络来威胁国家的稳定。

多数的恐惧都不是理性的。放眼过去，技术变化带来的真正灾难，从来都不曾被预料。一百年前，人们不曾预料，迅速发展的运输和制造工业会带来新的战争形式，在两次世界大战中杀死了数千万人。

人们不曾预料，电台的发明促成了新的大众宣传形式，却也促成了德、意的法西斯主义的形成。上世纪20,30年代，伴随着理论物理学发展，当时的报刊上也未曾出现过担忧这些理论会产生使世界永远处于被毁灭威胁之下的核武器的内容。

而现在，即使气候问题的警钟早已敲响了几十年，大部分（44％）美国公民仍然选择无视。人类文明很难正确意识到威胁的存在，从而理性地警醒，反而代之以非理性的恐慌。

如今，我们再次面临着一场根本性的变革：认知自动化的到来，简单来说也就是“AI”。同过去一样，我们担心新技术的威胁——人工智能将会导致大规模失业，或者，人工智能会获得自主意识，变成超人并摧毁人类。

但是，我们是否又犯了同样的错误呢？是否又产生了“错误的担忧”，而忽视了真正的威胁呢？人工智能真正的威胁，可能会和“超级智能”和“奇点”的说法大相径庭。

这篇文章的目的，就是想让大家对以下提到的问题有个意识，这些问题才是我真正担心的：AI可以强烈地干预甚至操控人类的行为，而这一特点会被公司或政府恶意地利用。

当然，人工智能技术发展带来的风险不只有此，还有“机器学习算法会将偏见放大”等问题。这些问题已经受到了很多人的重视，而关于“人工智能操控人类行为”的风险，鲜有人意识到，但却是很迫切的。因此，我有必要唤起人们的意识。

机器学习算法会将偏见放大

http://www.nature.com/news/there-is-a-blind-spot-in-ai-research-1.20805

事实上，这种风险已经成为现实，在接下来几十年里，伴随着长期增长的技术趋势，还将会迅速增强。随着生活日益数字化，社交平台越来越了解我们的生活和想法，同时，也越来越多地以内容为媒介——特别是基于算法的内容推送，来干预我们的行为。

社交平台将人类行为视为一个优化问题，也即一个人工智能问题：通过不断迭代，调整控制参数，达成推动用户做出特定行为的目的。好比AI棋手会通过评分反馈，不断地进行策略的迭代调整，从而通过关卡。实现这一过程唯一的瓶颈就在于算法的智能化程度，正因此，最大的社交平台公司正投资数十亿美元用于AI算法的研究。

以下将详细介绍人工智能被恶意使用会带来的风险。

社交媒体成为大众心理的监督工具

过去20年间，我们的私人和公共生活悄然完成了向线上的转移：看屏幕的时间越来越长，工作也多与数字和信息相关。而世界也在向一种由数字信息的消费、修改和创造所构成的状态发展。

这种趋势是有副作用的。公司和政府不断收集我们的大量数据，特别是通过社交平台：我们与谁交流、交流什么、消费了什么内容（包括图片、电影、音乐和新闻）、特定时间会有什么样的心情。最终，几乎所有我们能感知到的和所做的一切都会被记录在某个远程服务器上。

理论上讲，这些收集的数据满足了公司对个人或群体进行心理建模的需求。将你经常点击的内容与你的思想和行为关联，将你的思想和行为同成千上万类似的人群相关联，实现了比单纯的自我认知更加准确的性格定位（例如，Facebook用算法评估你的个性，甚至比你朋友说的还准确）。

Facebook用算法评估你的个性

http://www.pnas.org/content/112/4/1036

通过分析利用这些数据，很多事情都不再是天方夜谭。比如说提前几天就预测出你什么时候会和伴侣分开，以及下一次恋爱开始的时间和对象；或预测谁会有自杀的倾向；又或者在选举中预测你最终的投票取向，即便你仍在犹豫不决。这种能力不仅局限于对个人的预测，还可以针对更容易分析的大群体行为，因为大群体的行为更平均化，消除了一些随机或个人异常情况。

控制信息消费成为控制用户的心理的手段

对互联网公司而言，被动地收集用户数据还远远不够，它们还会越来越多地主动决定用户消费的内容。用户看到的信息是经过“策划”的，不透明算法决定了我们会读到哪些政论文章、看到哪些电影预告、与谁保持联系、会收到谁的评论等。

经过多年来对我们所消费内容的收集、管理和调整，算法对我们有了足够强的影响力，强大到足以改变你对“我是谁？”、“我想成为谁？”等问题的答案。倘若Facebook长期决定你消费的内容（或真或假）和你的受众，多年后，你的世界观和政治倾向就会完全被Facebook所主导。

而Facebook的金主爸爸——广告主们，包括政治广告主——看中的恰恰就是它影响用户的能力，这也是Facebook的业务根基所在。

正因此，Facebook建立微调参数的算法引擎，它不仅能影响用户购物的品牌，还能影响用户的情绪，通过调整内容推送来控制你的喜怒哀乐。甚至，还可能改变选举结果。

人类行为被视作优化问题

简言之，社交平台已经可以即时考评用户的一切，控制我们消费的内容，这种局面还将会加剧。通过来算法实现感知和行动，已经属于人工智能的范畴了，在此过程中，针对人类的行为建立优化循环，在循环中，观察目标当前状态，并不断调整输出的内容，直到目标达到期望的状态。

人工智能领域的一大部分，尤其是“强化学习”，就是为了解决这种优化问题，通过算法实现对目标（也就是我们）完全的闭环控制。而在当今数字化的生活环境下，我们也变得更容易被算法控制。

对人类行为的强化学习循环

人类的思想极易受到社交的作用。这一特性，使得优化目标更容易达成。正如此，平台利用人类心智的特性，想出了以下的策略：

• 身份强化作用：历史上第一次广告就利用了身份强化，这种策略经久不衰。将内容与你的标签关联，自动地推送出你想要的内容。在人工智能优化社交媒体消费的背景下，控制算法能确保你看到新闻、故事、帖子，都是你希望看到的，也就是包含你的标签的。同理，屏蔽了所有你不希望看到的内容。
• 社交舆论反向干预：如果平台不希望你的观点被传播，会将你的文章只推送给“可能会反驳”它的用户（可能是熟人、陌生人、或机器人），让你在多次遭受反驳后，因为舆论的压力不得不改变原有观点。
• 社交舆论正向强化：如果平台希望你的观点被传播，会将你的文章推送给“可能喜欢”它的用户（甚至机器人），让你更加坚定的认为，自己站在多数人的一方。
• 推送的偏向性：平台通过推送文章和内容，使得某种希望的观点得到传播。不均衡的信息推送，为你制造了一种“这种观点受到广泛支持”的假象。
• 参数的个性化：有时算法会观察到，某些心理特性与你相近的人，在长期接触某种推送内容后，发生了观点上的转变，这样的话，算法预计这些内容会对与所有和你情况相似的用户都会产生巨大影响，因此将相应内容推送给你。长远地看，算法自始至终都能推送给用户最合适的内容。

从信息安全的角度来看，你会认为这是“安全漏洞”，而且是可用于接管整个计算机系统的已知漏洞。但对人来说，只要你还保留着人类的心智，这种漏洞就永远无法被修复。

因为这正是人类存在的方式，根植于DNA中。人类思维本身就是个静态的，易受攻击的系统，也会越来越频繁地遭受AI算法的攻击，这些算法，将会完全掌控着我们的所思所想，并控制着我们消费的内容。

现状

惊人的事实是，利用AI来控制我们的信息获取情况，以实现大规模的人口操纵——特别是在政治方面——并不需要多高深的算法。不需要那种具有自我意识的超智能AI出马，目前的科技水平已经完全足够了。近几年来，社交网络公司一直致力于这方面的工作，并取得了显著的成果。

虽然他们只是试图最大限度地“参与”并影响你的购买决策，而不是操纵你的世界观，但他们开发的工具已经成为敌对势力进行政治活动的有利武器，就像2016年的英国退欧公投和2016年的美国总统大选，所以利用先进技术进行舆论操纵已经成为现实。

然而如果从理论上讲大规模的舆论操纵可以实现，那为什么世界还没有被颠覆呢？

简而言之，我认为这是因为我们对AI的研究还很差，未达到那种高度，但这种情况可能即将改变。

直到2015，整个行业的所有广告定位算法还都是在逻辑回归的基础上建立的，事实上，现在很大程度上来说还是这样，只有一些大玩家才开始转向更高级的算法和模型。

逻辑回归是一种早于计算时代的就已存在的算法，是用来实现个性化推荐最基本的技术，也是你在网上看到的很多广告之间都毫不相关的原因。类似地，敌对势力使用的社交媒体机器人对公众舆论的影响不大，就是因为目前他们使用的技术非常原始而基础，里面很少甚至没有真正涉及AI的部分。但这也只是目前的情况。

近几年来，机器学习和AI取得了飞速发展，而这一进展才刚刚开始应用于目标定位算法和社交媒体机器人。2016年深度学习才刚刚开始应用于消息推送和广告网络。

谁知道接下来会发生什么？Facebook这样的公司在AI研究和开发上已经持续投入了超大量资金，而且目标很明确，就是要成为该领域的领导者。假如你有一个社交平台，你会用自然语言处理和强化学习算法来做什么呢？

而我们现在在讨论的Facebook，为近20亿人建立了精细的心理档案，不但成为了其中许多人的主要资讯来源，还在进行大规模的行为操纵试验，并宣称自己的目的是开发世界上最好的AI技术。就我个人而言，我觉得这简直太可怕了。

然而，Facebook可能还不是最令人担忧的威胁。思考一下，假如中国要利用信息控制来实现空前的极权主义，比如在“社会信用体系”方面，这该多可怕！许多人都认为大公司是现代世界的全能统治者，但与政府相比，他们所拥有的权力都是微不足道的。如果让算法控制我们的思想，政府很可能会变成比公司更糟糕的角色。

现在，我们能做些什么呢？我们又该如何保护自己？作为技术专家，我们又能做些什么来避免这种通过社交媒体进行的大规模舆论操纵的风险呢？

别忘了事物的两面性——AI又能为我们做些什么？

重要的是，这种威胁虽然存在，但并不意味着所有的算法管理都是不好的，或者所有的有针对性的广告也都是不好的。事实远非如此，这两种方法都是有其价值的。

随着互联网和AI的兴起，让算法来控制我们的信息获取不仅是必然趋势，也是人之所向。我们的生活变得越来越数字化，人与人之间联系越来越密切，而且我们面对的信息也越来越密集，AI将成为我们与世界的连接。

从长远来看，教育和自我发展将是AI最有影响的两方面应用，而这一切都是AI企图通过控制信息推送来操控你的镜像动态反映。算法信息管理能在很大程度上帮助我们，它可以帮助个人发掘更多的潜能，帮助社会更好地自我管理。

问题不在于AI本身，而在于怎么去利用它

我们应该让用户控制算法优化的目标，而不是让信息推送算法操纵用户以达成某些人不明不白的目的，例如左右用户的政治观念，或者尽可能多地占着用户宝贵的时间。

毕竟，“你”才是我们所谈论的主体，我们谈论的是你接触的资讯、你的世界观、你的朋友、你的生活——科技如何影响你自然也应该由你自己来控制。

信息管理算法不应该被作为一种神秘的力量强加于我们，服务于与我们利益相违背的目标；相反，它们应该是我们手中的工具，用来实现我们自己的目的，比如说，用于教育和个人发展，而不是娱乐。

我有一个想法——任何被广泛使用的算法化消息推送都应该有有以下特点：

• 清楚地告诉用户feed（消息源，是一种资料格式，网站透过它将最新资讯传播给用户）算法的优化目标是什么，而这些目标又对用户的信息获取有什么影响。
• 让用户可以用直观的工具去自己设置这些目标。例如，用户应该可以配置自己的消息推送内容，在某些特定领域尽可能地多学习知识和得到提升。
• 对用户在feed上花费的时间有个始终可见的量化指标。
• 构建相关功能来控制用户每天在feed上花费的时间，例如每日时间指标，在用户使用时长超标后，算法会试图让用户退出feed。

控制并用AI增强自己

我们认为AI应该是来服务人类，而不是为了利益或政治目的而操纵人类。如果信息推送没有沦为赚钱和宣传的工具，它能做些什么？如果这种算法扮演的角色更像是一位良师益友或一位优秀的图书管理员，它会对你的心理进行细腻解读，并结合其他数百万类似的研究结果向你推荐下一本书，让你获得成长，你还会像今天这样恐慌AI带来的危机吗？

我们应该让AI成为用户生活的导航工具，引导用户参考前人经验通过最佳路径到达自己想去的地方。你能想象用一个已经见证了数百万人生命的系统的眼光来审视自己的生活吗？

或者你能想象与一个阅遍天下书籍的系统共同创作一本书吗？更或者你能想象与一个全面了解当前人类知识体系的系统进行合作研究吗？

在你完全控制，并能与你互动的AI产品中，一个更先进的算法并不是威胁，而将是一个积极的帮助者，它能让你更有效率地实现自己的目标。

建立与Facebook不同的产品

总而言之，未来AI将成为我们面向数字信息世界的接口。对个人而言，AI要么使其获得对生活更好的控制权，要么使其完全失去对自己的控制力。不幸的是，社交媒体目前正走在错误的道路上，但好在为时不晚，还来得及改正方向。

作为一个行业，我们需要开发类别化的产品和市场，其中的商业激励机制包含将用户放在算法的控制地位，而不是反过来利用AI从用户的思维中榨取利益或达到政治目的。我们需要的是努力开发与Facebook们截然不同的产品。

在遥远的将来，这类产品可能会以AI助理的形式出现。这些数字化的向导已经被设定好程序，它的使命是在与你的互动中帮助你实现目标，而这些目标是什么则完全取决于你。

目前，搜索引擎可以被看作是AI服务于用户的早期而基础的例子，搜索引擎是AI驱动的信息交互产品，它为用户提供服务，而不会试图反向利用用户的心理空间。

搜索引擎是一种工具，你主动地在需要的时候用它来找你想找的东西，而不是由它来源源不断地决定给你看些什么。你想要什么就告诉它，搜索引擎是用来帮助你尽快回答或解决问题，而不是浪费时间的。

你可能会想，不论如何搜索引擎本质上还是用到了AI，它会不会偏向于通过控制信息操纵我们呢？的确，每种信息管理算法都有这样的风险。但与社交网络形成鲜明对比的是，在这种情况下，市场激励实际上是与用户需求相一致的，这使得搜索引擎的结果会尽可能的相关和客观。

因为如果它们能最大限度地发挥作用，用户就没有必要去使用竞争产品。更重要的是，搜索引擎给用户造成的心理攻击比社交媒体要小得多。真正会给用户带来前文所提及的AI威胁的产品，会满足如下几点：

• 能够感知并利用用户：真正危险的产品不仅会控制它向你展示的信息(新闻和最新社会动态更新)，还能够通过点赞记录、聊天消息和状态来“感知”你当前的心理状态，并知道如何利用这种状态。假如没有这种感知和利用，就无法建立强化学习回路，而对于一个仅拥有单向传递功能的信息流来说，最大的威胁也只是被利用为宣传和营销工具。
• 不知不觉成为用户的生活中心：这种产品是至少一个用户群体的主要信息源，并且典型用户应该每天会花好几个小时在它上面。如果Feed仅作为一种辅助性信息源，并且是有功能针对性的(比如Amazon的产品推荐)，它就不会构成严重的威胁。
• 成为社交本身甚至社会的一部分：这样的产品能构成更广泛和更有效的心理控制载体阵列(特别是社会强化)。一个毫无人情味的的消息源对我们思想的影响非常有限。
• 该产品以操纵用户，使用户在产品上花费更多时间为核心目的。

事实上大多数AI驱动的信息管理产品不符合这些条件。作为技术人员，我们应该倾向于使用那些不具备这些特性的产品，并反对那些将它们组合在一起的产品，因为它们的组合一旦被误用，后果将不堪设想。我们要积极构建搜索引擎和数字化助手，而不是社交媒体。

要使我们的推荐引擎透明、可配置和有建设性，而不是像老虎机那样尽可能地吸引人“参与”和浪费时间。在你的算法中加入UI、UX和AI专业知识，来为你的算法构建出色的配置面板，从而使用户能够根据自己的条件使用产品。

更重要的是，我们应该针对这些问题对用户进行相关教育，使他们学会拒绝使用操纵性产品，从而产生足够的市场压力，使技术产业真正将用户需求放在首位。

总结：分岔路的选择

• 社交媒体不仅对我们有足够的了解，可以为个人和群体建立强大的心理模型，而且还越来越多地控制着我们的信息获取。它可以利用一套极其有效的心理策略来控制我们的信念、感受和行为。
• 一个足够先进的AI算法，既能感知我们的精神状态，又能对我们的精神状态做出反应，在一个连续的循环中，可以有效地干预我们的信念和行为。
• 使用AI作为我们的信息接口不是问题本身。这样的AI接口，如果设计良好，将有潜力给我们所有人带来极大的益处和助力。关键因素是：用户应该完全掌握算法目标的控制权，将其作为一种工具来帮助实现自己的目标（就像使用搜索引擎一样）。
• 作为技术人员，我们有责任重建那些失去控制的产品，并致力于构建可以让用户管控的信息交互界面。不要将AI作为工具来操纵用户；相反，把AI作为可供用户使用的一种工具，使用户可以在不同情况下都可以最大化收益。

AI的发展正处在一个分岔的路口，一条路的终点让或许会毁灭人类文明，而另一条则通向人性化的未来。我们还有时间去做出更好的选择。

如果你是研究这些技术的人员，请记住这一点：你可能没有恶意，或者你可能根本不在乎，也或者你可能更看重你自己的人生，而不是我们共同的未来。但不管你是否在乎，因为你参与了数字化世界的基础建设，你的选择就会影响着我们所有人，你终究是要对他们负责的。

原文链接：

https://medium.com/@francois.chollet/what-worries-me-about-ai-ed9df072b704