专栏首页新智元哈佛博士用一万篇Nature论文训练GPT-2写摘要,网友直呼生成的太假了!

哈佛博士用一万篇Nature论文训练GPT-2写摘要,网友直呼生成的太假了!


新智元报道

来源:Nature

编辑:LRS

【新智元导读】Reddit上又一个论文自动生成的帖子火了!哈佛一个博士用一万篇Nature论文训练GPT-2模型来自动生成摘要,还发布了一个小游戏Engima,允许用户判断两个摘要哪个是生成的,有网友觉得一眼假,还有网友认为生物领域根本看不懂!

哈佛一个小哥用GPT-2模型训练了一万篇Nature论文来写论文的摘要。

根据这个模型生成的摘要,开发了一个小游戏Enigma,让用户来判断哪个是真实的摘要,哪个是生成的。

这个字谜游戏的名字取自恩尼格玛密码机,它是对二战时期纳粹德国使用的一系列相似的转子机械加解密机器的统称。

游戏的模式分为Easy和Hard。

例如下面这个Hard例子,左面的是真实的论文摘要,而右面的则是生成的,你看出来了吗?

由于论文涉及的领域大多数是Nature相关的,区分真实和虚假依赖于领域知识,而GPT-2生成的文本大多在逻辑上可能会有一些问题,所以对于行外人来说这个游戏大多等于随机猜。

切换到Easy模式也并没有觉得变简单。。

作者在网页中也说明,Hard模式使用更大的模型,生成的摘要也更加有信服度。

有Reddit网友也表示,希望有一些机器学习相关的摘要,生物领域实在是看不懂!网友表示赞同,熟悉这个领域的太容易看出来是假的了!

还有网友说这游戏太离谱了,越像胡说八道的,越是学术界写出来的论文:

这个小游戏的作者是Stefan Zukin,从哈佛大学毕业的博士生,主要研究领域为化学生物。

论文自动生成

早在2005年,论文自动生成器SCIgen就开始研究这个课题,它能够自动生成无意义的英文计算机科学研究论文,并且包含图片、表格、流程图和参考文献等。这个程序使用用户定制的上下文无关文法来生成论文的各类组成元素。

在当时还没有强大的深度学习模型,只能依靠手工规则。

SCIgen由美国麻省理工学院计算机科学与人工智能实验室的三位研究生杰里米·斯特里布林(Jeremy Stribling)、马克斯·克伦(Max Krohn)和达纳·阿瓜约(Dan Aguayo)编写,源代码以GPL协议发布。

2005年,SCIgen的编写者们将他们使用这个工具生成的Rooter: A Methodology for the Typical Unification of Access Points and Redundancy一文投往该年度的World Multiconference on Systemics, Cybernetics and Informatics,WMSCI,被成功录用为未经同行评审文章,并且作者被邀请到会议上发言。

后来,伦斯勒理工学院、华盛顿大学等的研究人员开发的 PaperRobot,提供从产生 idea、写摘要、写结论到写 “未来研究” 的一站式服务!甚至它还能为你写出下一篇论文的题目,从此论文无忧。

PaperRobot: Incremental Draft Generation of Scientific Ideas 这篇论文在ACL2019一发表,就引起了大量关注。

谷歌大脑科学家 David Ha (hardmaru) 评价:「May a thousand (incremental) ideas bloom. 」

PaperRobot 的工作流程包括:

(1) 对目标领域的大量人类撰写的论文进行深入的理解,并构建全面的背景知识图 (knowledge graphs, KGs);

(2) 通过结合从图注意力 (graph attention) 和上下文文本注意力 (contextual text attention),从背景知识库 KG 中预测链接,从而产生新想法;

(3) 基于 memory-attention 网络,逐步写出一篇新论文的一些关键要素:从输入标题和预测的相关实体,生成一篇摘要;从摘要生成结论和未来工作;最后从未来工作生成下一篇论文的标题。

研究者对这个 AI 论文生产机还进行了图灵测试:

PaperRobot 生成生物医学领域论文的摘要、结论和未来工作部分,同时展示人类写作的同领域论文,要求一名生物医学领域的专家进行比较。结果显示,分别就摘要、结论和未来工作部分而言,在 30%、24% 和 12% 的情况下人类专家认为 AI 生成的比人类写作的更好。

至于这批 AI 研究人员为什么选择生物医学领域来做实验,原因很简单:生物医学论文很多,非常多!他们尝试了用自己领域 (NLP) 来做实验,结果并不理想 (NLP 的论文语料还不够多)。

参考资料:

https://stefanzukin.com/enigma/

https://www.reddit.com/r/MachineLearning/comments/nb9ifz/p_enigma_gpt2_trained_on_10k_nature_papers_and_an/

本文分享自微信公众号 - 新智元(AI_era),作者:新智元

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-05-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 微软与OpenAI达成合作,获得GPT-3独家使用授权

    当地时间9月22日,微软在官网发布通告,与OpenAI合作,独家获取了GPT-3语言模型的使用许可。

    大数据文摘
  • 暴力程序代写观后感!秒生成600字文章还带图,拯救50万大学生,打赏千元

    3月9日,全国大学生共同上了一堂疫情防控思政大课,这可能是中国参与人数最多的一次网课了。

    大数据文摘
  • 暴力程序代写观后感!秒生成600字文章还带图,拯救50万大学生,打赏千元

    3月9日,全国大学生共同上了一堂疫情防控思政大课,这可能是中国参与人数最多的一次网课了。

    程序员小强
  • GPT-3有多强?伯克利小哥拿它写“鸡汤”狂涨粉,还成了Hacker News最火文章?!

    最近,一位美国小哥用GPT-3写的博客,就打败了一票人类作者,登上了新闻平台技术板块热榜第一??

    大数据文摘
  • 最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

    用GPT-2来下象棋,最开始大概只是一个娱乐项目。作者肖恩·普莱斯(Shawn Presser)只用了一周的时间就完成了Demo。

    量子位
  • 最近爆出的强大NLP模型证明马太效应:小团队将难出大成果

    最近朋友圈被NLP的技术大新闻刷屏刷得有点多,前几天(2月15日)中午开始又被GPT 2.0刷屏了,大致看了下新闻大致了解了下思路,觉得好像思路还好,但是看GP...

    新智元
  • 对标Bert?刷屏的GPT 2.0意味着什么

    最近朋友圈被NLP的技术大新闻刷屏刷得有点多,昨天(2月15日)中午开始又被GPT 2.0刷屏了,大致看了下新闻大致了解了下思路,觉得好像思路还好,但是看GPT...

    AI科技大本营
  • AI学会「搞」科研登Nature,知乎网友:不忍直视的水

    在人们的普遍印象里,论文上了 Nature,那结论自然也就八九不离十了。然而对于熟悉人工智能的人来说,该研究有些奇怪的是:论文中模型使用的技术是「词嵌入」——既...

    机器之心
  • GPT-3:被捧上天的流量巨星,却有一个重大缺陷,很危险...

    谷歌利用它们来改善其搜索结果和语言翻译。Facebook、微软和英伟达等科技公司也在开发语言模型。

    新智元

扫码关注云+社区

领取腾讯云代金券