首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

防范 AI 最前线的 OpenAI,开发了一个会写假新闻的 AI 模型

摘要

对于 GPT-2 能做什么和不能做什么,它的创造者都没有明确回答,所以他们承诺不会披露或者发布完整的预训练模型。

「四月间,天气寒冷晴朗,钟敲了十三下。」当人类把《一九八四》这个著名的开头输入到 OpenAI 刚展示的语言算法模型 GPT-2 后,这个包含了 15 亿个参数(parameters)的模型识别出了这种模糊的未来派小说基调,开始了创作。

「我开车去西雅图找一份新工作。我给车加好汽油,插入钥匙,然后让它跑起来。我想象着那一天会是什么样。一百年后的今天,那是 2045 年,我在中国贫困地区的一所学校当老师,教授中国历史和科学史。」

这个 AI 模型写的「新闻」更是真实到人类有理由恐慌。「一节装载受控核材料的火车车厢今天在 Cincinnati 被盗,下落不明。」还是仅仅依靠一句开头,GPT-2 便编写出了由 7 个段落组成的新闻,中间还引述了一些政府官员的言论。当然,具体官员和他们所说的话全是算法自己编造的。

GPT-2 是 OpenAI 最新发布的「AI 写手」算法模型,它可以完成阅读理解、常识推理、文字预测、文章总结等多种任务,专家认为,这款「AI 写手」的出现将「打开智能的阀门」。它的出现,让人兴奋,也让人恐惧。人类还无法确定它能做什么,在虚假信息泛滥互联网的当下,它也被视为威胁。因此,OpenAI 选择不公布完整的 AI 模型。

AI 写手

当地时间 2 月 14 日,非营利性人工智能研究公司 OpenAI 公布了「AI 写手」GPT-2。为了执行所谓的「语言建模」(language modeling)任务,作为 GPT 接班人的 GPT-2 被创造了出来。简单来说,它具有根据当前已有的单词预测接下来的文本,并进行补充的能力。

图片来源:OpenAI 官方博客

和之前已有的文本模型,GPT-2 有以下两方面的开创性优势

一是它纳入的参数比之前更多。OpenAI 的研究总监 Dario Amodei 声称,GPT-2 是之前最先进的 AI 模型的 12 倍大,它的数据集(dataset)是后者是 15 倍大,同时,数据集的范围也更加广泛。据介绍,它是由包含了大约 1000 万篇文章的数据集训练而来。这些文本足足有 40GB,是 35000 部《白鲸》的体量。

二是它纳入的参数并不限于特有领域,它抓取了网络社区 Reddit 上那些投票数超过 3 次以上的链接,也就是说,由此训练而来的模型将比那些专为特定领域打造的模型更加「通用」,OpenAI 的研究人员表示,这个没有经过任何领域数据专门训练的模型甚至比后者表现得更好。

据 The Verge 报道,就荒诞的《回收利用为什么对世界有害?》为题,「GPT-2 写出了一篇有理有据的文章,」加利福尼亚实验室的工程副总裁 David Luan 惊喜道,「这是篇可以直接提交给 SAT(美国高考)并取得好成绩的东西。」

自己插广告的作者

除了能写好「高考作文」,得益于「零度学习」(zero-shot)的设定,GPT-2 还能在无需使用相关数据集的前提下,在某些特定领域(如维基百科、新闻或书籍)训练其他语言模型。根据 OpenAI 给出的数据,GPT-2 在 Winograd Schema、LAMBADA 和其他语言建模任务中达到了当前最佳成绩。

图片来源:OpenAI 官方博客。注:在图中,(+) 表示该领域得分越高越好,(-) 表示得分越低越好。

此外,在知识问答、阅读理解、总结和翻译等语言任务上,GPT-2 也不需要使用特定任务的训练数据,它可以从原始文本开始学习,并在文本连贯性、流畅性取得不错表现。当然,这个模型现阶段还存在一些不足。比如,由于抓取的是网站上的文本,它在写新闻的时候,习惯在段落插入「ADVERTISEMENT」字样和广告内容。有时也会出现文本重复、建模失败以及不自然的主题切换等问题。

GPT-2 能做些什么?OpenAI 给出了一些应用方向。比如,它能用于开发 AI 写作助理、更强大的语音助手、提高不同语言之间无监督机器翻译(Unsupervised Machine Translation)的性能,甚至构建更好的语音识别系统。

OpenAI 研究人员 Jeff Wu 举例说,「我们也许可以用工具帮助作家寻找创意或者生成对话。或者,也许可以用工具检查语法错误,查看软件代码是否有漏洞。优化软件之后,未来也许还能为企业或者政府决策者提炼总结性文本。The Verge 报道称,像 GPT-2 这样的系统一旦成熟,对各行各业来说,都是福音。最寻常的,它们可以大大提高聊天机器人的交谈能力,帮助解决从客户投诉到医疗保健等领域的问题。

「做好准备」

在虚假信息正在蔓延并威胁全球科技产业的背景下,一个擅长制造假新闻的「高材生」很难不被声讨。

比如,GPT-2 如果所托非人,将很可能成为影响选民意愿的政治工具。可以想象,这种擅长合理遣词造句的算法,能「按需」生成大量的仇恨语言和暴力言论。GPT-2 也能用来生成具有误导性的新闻报道、自动生成垃圾邮件、伪造内容发布到社交媒体上等等。

Fast.AI 的联合创始人 Howard 称,「值得警醒的是,我们目前拥有的技术已经能让看起来合理,且与上下文相适应的文本充斥 Twitter、电子邮件和网页。这些假信息都将掩盖其他言论,而且他们难于被过滤。」因为 GPT-2 生成的文本都不是单纯复制粘贴来的,而是 AI 的即时生成,这导致负面文字无法被有效地追踪和清理。

图片来源:Telenews

对此,OpenAI 也强调这个工具只是为政策制定者、记者、作家、艺术家等人群使用的算法开发,由这些人群测试 GPT-2 能编写什么文本信息,或者能否做其它事情。对于 GPT-2 能做什么和不能做什么,它的创造者都没有明确回答,所以他们承诺不会披露或者发布完整的预训练模型,只放出了一个 1.17 亿参数的「缩小版」。OpenAI 政策主管 Jack Clark 声称:「这不是一项马上能投入使用的技术。」并认为这虽然是个强大的系统,但不至于马上就会带来威胁。根据 Clark 的观点,《卫报》报道称,OpenAI 的目标是向世界展示什么是可能的,让世界为一两年后的主流做好准备。

艾伦人工智能研究所的研究员 Ani Kembhavi 告诉 The Verge,「GPT-2 让人兴奋的原因是,预测文本(predicting text)被视为计算机的『超级任务』(uber-task),这个挑战如果能够攻克,将打开智能的阀门。」像问路这种问答式的任务就需要预测文本的支持。「所以,假设人类能训练一个足够好的问答模型,它将可以做任何事情。」

但在此之前,我们可以先讨论 GPT-2 可能会带来什么威胁。Clark 态度谨慎地说,「我们应该在真正的危险到来之前,讨论它们。」

题图:Behance

责编:宋德胜

  • 发表于:
  • 原文链接http://www.geekpark.net/news/238090
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券