OpenAI用Reddit训练聊天机器人

【文】王艺 关注人工智能

投稿请联系wangyi@csdn.net或公众号后台留言

OpenAI是一个非营利人工智能科研团队，其创始人之一Elon Musk是Paypal以及Tesla的CEO。除此之外，他还是私人火箭发射公司SpaceX、太阳能电池商SolarCity的CEO。OpenAI的愿景是建立安全的AI系统、并尽量让每个人都能享受到AI带来的便利。因此，OpenAI的项目都是开源的，其研究结果也会毫无保留地公布。

OpenAI于2015年12月成立。2016年4月，OpenAI发布了公共测试版OpenAI Gym。OpenAI Gym是一个增强学习的科研平台，该平台提供了一个适用于多种场景的人工智能。OpenAI希望能通过该平台制定行业普适的场景划分标准，进而提高业内研究成果的普适性。

今年8月，英伟达（NVIDIA）与OpenAI达成合作。OpenAI将利用英伟达超级计算机DGX-1训练无限接近人类的聊天机器人。DGX-1是英伟达斥资20个亿研发、价值$129,000的超级计算机。搭载了8块Tesla P100 GPU、7TB的固态硬盘、以及2块Intel至强处理器，具备高达每秒170兆次的浮点运算能力（相当于传统服务器的250倍）。在人工智能领域，现有计算机的运算能力可以说是深度学习发展的最大瓶颈。有了DGX-1，OpenAI的人工智能系统将以更快的速度学习训练样本。这也意味着，在有限的时间内，系统能够处理量级更大的样本。

为此，OpenAI将利用Reddit（北美著名的社交新闻论坛网站）上超过20亿条帖子、新闻、回复、评论作为训练样本来训练其人工智能，且不需要更改代码。在DGX-1强大运算能力的支持下，这项需传统计算机耗时几年的工程将在一个月内完成。OpenAI希望借此打造能够无缝沟通、甚至以假乱真的聊天机器人，并利用其学习成果分析人类的交流方式。

Reddit上拥有将近90万个社区，这使其能够提供海量的、源源不断的、门类繁多的、口语化的训练样本。然而问题也在于此，充斥着污言秽语、色情暴力的Reddit会不会教坏OpenAI的人工智能，就像Twitter教坏Tay一样。对此，Hacker News上出现了广泛讨论，以下为部分观点：

• LeanderK：我觉得OpenAI用Reddit比微软Tay用Twitter训练要好，因为Tay采用的是开放给Twitter用户的策略，但是OpenAI仅仅是使用Reddit上的数据，所以不会有这个顾虑。如果对于训练样本谨慎选择的话，OpenAI的人工智能最多也就是学到一些脏话。
• Plusepsilon：Reddit作为数据源挺不错的，它上面的话题广泛、而且不同的用户有不同的语言风格。单就评论来说，也比Facebook和Twitter上的评论普遍要好，同时也没有报纸那么生硬。
• Keyframe：很好奇，他们将如何处理非英语评论。
• yahma：有人知道他们用什么网络结构吗？既然英伟达介入了，那应该用的是深度学习算法了。是LSTM？还是Generative Adversarial Nets？
• bkanber：Reddit上的语料虽然会粗鲁刻薄，但也不乏篇幅较长的独到见解，所以不能全盘否定。如果AI系统能够自动识别出礼貌的交谈并加以更高的权重，那么系统就会变得越来越礼貌。所以我希望OpenAI能在语气和感情方面训练他们的系统，而不仅仅是语义语法上面。还有我也希望，OpenAI的算法能够通过链接一层层的获取到评论的源头，以深度优先的策略学习人类对话的逻辑。
• gohrt：在学习算法中设置“仅包含长评论”可能是Reddit上脏话问题最简单的解决办法。
• anexprogrammer：虽然过于口语化，但Reddit上有很多的长讨论都是非常正式的。我想如果训练样本足够多的话，AI能自己了解何时该表现聪明、何时该表现刻薄、何时该表现善良。
• qxf2：我用过Reddit上的数据，当时我制作了一个AI来帮助作家调查人们对问题的看法，就是用Reddit上的评论作为训练样本。
• random：要想真正的像人类一样说话，只懂语义是不够的，因为人类的语言是结合了人类的生存经验的。

在讨论中我们不难看到，大多数人对OpenAI选择Reddit作为训练样本这一事件持赞成并观望的态度。 虽然Reddit上的语料质量参差不齐，但其庞大的数据量以及大段大段的人类之间的交流与辩论给了OpenAI选择它的理由。希望OpenAI能找到合适的样本筛选方式来扬长避短。

如前文所说，OpenAI的研究成果将会公布，那么如果最终该聊天机器人成功面世，我们能够用它做什么？以下为Hacker News上的部分讨论：

• jimmaswell：我觉得可以肯定的是，各种垃圾邮件以及骚扰信息会变得更多。如果这个机器人能高仿人类聊天，那么它发送的垃圾邮件会越来越难被检测到，它会假装人类在聊天工具上向你推销东西、跟你借钱或者企图挖掘你的银行卡信息。
• swalsh：它的智慧能达到什么程度？它能跟我说话，跟我一起学习东西吗？更重要的是，它能不能学习我不会的东西，进而帮助我学习？这样的话，如果能够在网络教学的基础上，针对每个人进行个性化教学，那将是划时代的改变。如果我对某一个知识点理解错了，它能告诉我为什么我理解错了的话，就很有用。
• otakucode：如果一个机器人能一边跟我说话一边查阅维基百科，那它就能知道我对于某个事件的理解与维基百科上的说明距离有多远，这样就太棒了！不过实现起来会不会有点棘手，对于我的理解程度的计算可能会有些困难。
• happyslobro：我会用它来帮我预处理Github上的信息。当我要在Github上搜索某个解决方案的时候，它能帮我过滤掉无关的闲聊，直接生成简单明了的解决问题的方法。当生成方法所需的信息不全时，它能够自动帮我向作者提问以补全信息，或者呼叫其他用户的机器人寻求帮助。
• netsharc：如果你有银行账单以及银行卡信息的话，那么你用可以用它研究经济压力是如何导致暴乱的。
• TY：客服、私人智能助手、虚拟朋友、游戏角色、玩具等等。或者医疗助手，Eliza（第一个聊天机器人）就是模拟罗杰斯心理疗法搭建的，在当时很有影响力（当然，那是1960年代）。
• chiph：智能管家机器人，就像钢铁侠里面的JARVIS一样。

如果你想获得Reddit的数据集，以下链接可能会帮到你（同样出自Hacker News评论）：

• Syllogism：Reddit语料库是一个非常好的数据库。需要做的标记少、重复率小、元数据质优、话题多。我们用Reddit训练过一个word2vec模型，这里是demo： https://explosion.ai/blog/sense2vec-with-spacy
• minimaxir：
  1. 他们用的Reddit语料库可能是这个： http://files.pushshift.io/reddit/comments/
  2. 还有在BigQuery上能够找到截止至2015年末的完整的数据表（2016年的表也可找到，但只有按月份整理的表）： https://bigquery.cloud.google.com/table/fh-bigquery:reddit_posts.full_corpus_201512
  3. 这个是去年我写的“如何通过BigQuery使用Reddit的数据”指导： http://minimaxir.com/2015/10/reddit-bigquery/
• chokma：这里有数据集的种子文件： magnet:?xt=urn:btih:UGFLA4QNEXGEFKYYY5ZU37JIHWEEYY5R&dn=reddit_data&tr=udp%3a%2f%2ftracker.openbittorrent.com%3a80&tr=udp%3a%2f%2fopen.demonii.com%3a1337&tr=udp%3a%2f%2ftracker.coppersurfer.tk%3a6969&tr=udp%3a%2f%2ftracker.leechers-paradise.org%3a6969 这个种子文件里的数据是我整合的，更新到2016年4月。如果你想在自己的工作站上用这个数据集的话，这里有一些代码可供参考： https://github.com/dewarim/reddit-data-tool