前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >自动生成马斯克的推特几乎无破绽!MIT用GPT-2模型做了个名人发言模仿器

自动生成马斯克的推特几乎无破绽!MIT用GPT-2模型做了个名人发言模仿器

作者头像
代码医生工作室
发布2019-07-05 18:35:59
1K0
发布2019-07-05 18:35:59
举报
文章被收录于专栏:相约机器人
铜灵 发自 凹非寺 量子位 出品

模仿各路名人的推特行文,现在可以分分钟做到。

MIT的研究科学家、深度学习课老师Lex Fridman做了一个新应用:

DeepTweets,能通过一个人以往的推特内容进行内容模仿,自动生成新的伪推特。

发布10小时,500多人在网友Lex Fridman的研究下点赞,网友@ArthDubey表示,从某种程度上来说,你搜索、查询和发推的时候很容易推断出你的倾向,基于大量数据形成了预测。

效果展示

来看看DeepTweets的假推特实际生成效果。

就拿常年活跃在推特的“网红”马斯克来举例,此前马斯克曾发过一条的关于多层隧道的推特:

多层隧道的根本优势在于,你可以在任何方向上任意选择车道,就像折叠空间一样从城市的一部分连接到另一部分。

OK,现在该DeepTweets发挥了,它模仿歌星Justin Bieber的口吻,发了假回复推特:

多层隧道的根本优势在于,你不必担心交通或者路面积水,多层隧道让我们很安全。

没错呀,无论是语言连贯度还是内容上的逻辑,这条假推特有点天衣无缝了。

再看一条,来自美国饶舌歌手Kanye West:

多层隧道的优势在于,机器人不惧怕不可知的因素,伊隆加速啊。

可以,这一条连与楼主的互动都用上了。

继续往楼下看,美国女歌手Kate Perry也来凑热闹了:

多层隧道的优势在于……一分钱一分货,宝宝你说呢?

DeepTweets可真是掌握了每个人的用词习惯啊……

这样的例子还有很多,比如让它以“生命的意义是”开头,模仿名人的推特:

小哥Lex Fridman表示,目前已经训练了不少名人的推特回复模型,比如特朗普、奥巴马、马斯克(Lex Fridman经常与其互动),脱口秀主持人柯南·奥布莱恩,艾伦·德杰尼勒斯等,这些模型将会陆续发布。

GPT-2又立功

作者小哥表示,DeepTweets是在已经开源的语言模型GPT-2上训练的。GPT-2在语言建模任务中,简直是逆天般的存在。

作为一个没有经过任何领域数据专门训练的模型,它的表现比那些专为特定领域打造的模型还要好,横扫各大语言建模任务。

GPT-2在不同语言建模任务上的测试结果(从左到右:数据集名称、指标类型、GPT-2测试结果、此前最好结果、人类水平)

简单来说,GPT-2就是基于Transformer架构的大规模模型。

GPT-2是GPT算法“进化版”,比GPT参数扩大10倍,达到了15亿个,数据量扩大10倍,使用了包含800万个网页的数据集,共有40GB。

这个庞大的算法使用语言建模作为训练信号,以无监督的方式在大型数据集上训练一个Transformer,然后在更小的监督数据集上微调这个模型,以帮助它解决特定任务。

上图左部分,是研究中使用的Transformer架构以及训练目标。右边部分,是针对特定任务进行微调。将所有结构化输入转换为token序列,由预训练模型处理,然后经过线性+softmax层处理。

就GPT-2而言,它的训练目标很简单:根据所有给定文本中前面的单词,预测下一个单词。

一开始,OpenAI只放出了117M的小型预训练模型,被网友调侃为“ClosedAI”。OpenAI表示,不是不开源,而是时候未到。

上个月,OpenAI宣布将其345M的预训练模型开源,外加其Transformer的1.5B参数。

传送门

最后,附上GPT-2相关学习资料。

GitHub代码地址: https://github.com/openai/gpt-2

GPT-2数据集地址: https://github.com/openai/gpt-2-output-dataset

OpenAI介绍主页: https://openai.com/blog/better-language-models/#update

Lex Fridman的GPT-2讲解视频(需要科学前往): https://youtu.be/O5xeyoRL95U

作者系网易新闻·网易号“各有态度”签约作者

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-07-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 相约机器人 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 效果展示
  • GPT-2又立功
  • 传送门
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档