专栏首页相约机器人语言模型GPT-2挤牙膏式开源,放出774M预训练模型,称是倒数第二版

语言模型GPT-2挤牙膏式开源,放出774M预训练模型,称是倒数第二版

放出124M和355M的中小规模预训练模型后,横扫7大语言任务、效果足够以假乱真的逆天模型GPT-2又开源了。

此前,OpenAI因为担心这个语言模型效果太好被滥用,一直藏着掖着开源,还被网友调侃为“ClosedAI。

刚刚,OpenAI首次放出774M的GPT-2大型预训练模型。官方表示,这是1558M完整版放出前,最后一版了。挤牙膏式开源,是OpenAI没错了。

研究人员表示,正在考虑开源完整版模型,也就是说,能完成阅读理解、常识推理、文字预测、文章总结等多种任务的AI模型,也有机会完全为你所用了。

心心念念的最强语言模型又有大开源,关注语言研究的AIer甚至有些不敢相信自己的眼睛:

不敢相信我现在看到的是真的!!好嗨呦!!!

全面上新

发布半年来,GPT-2的热度猛增不减。

作为一个没有经过任何领域数据专门训练的模型,它的表现比那些专为特定领域打造的模型还要好,横扫各大语言建模任务,还能胜任编造新闻、阅读理解、常识推理、摘要总结等任务。

这个庞大的算法使用语言建模作为训练信号,以无监督的方式在大型数据集上训练一个Transformer,然后在更小的监督数据集上微调这个模型,以帮助它解决特定任务。

研究人员说模型太强让自己有些心慌,于是分阶段放出,根据反响确定是否放出更完整的版本。

但OpenAI关于GPT-2的研究还没有止步,和今天774M模型一起问世的,还有一份OpenAI对GPT-2的发布策略及社会影响报告:

他们最关心的点,很大一部分在于对社会是否会带来大程度上负面影响。

研究人员表示,通过合作伙伴Sarah Kreps和Miles McCain在康奈尔大学外交事务部发表的研究表明,GPT-2合成的假文本与人类亲自撰写的文本相当。

在测试中,72%的参与者曾把GPT-2的假文章当成是来自《纽约时报》报道。甚至在AI2的调查中显示,一个基于GPT-2的“GROVER”系统撰写的新闻比人类的作品逻辑更合理。

这让他们不得不更加谨慎。

除了这个774M的大型与训练模型,此前根本不敢想的1558M的完整版模型已经在路上了。

预计几个月内就会发布

研究人员表示,制定了非商业法律协议,促进各个组织之间的模型共享,也联合了一些机构对模型进一步调研:

人类对GPT-2产生虚假信息的敏感性、可能会被极端分子怎样应用、生成文本的偏差……都会影响最终发布的时间。

GPT-2の各类妙用

发布半年来,不少网友基于GPT-2进行了各类开发,脑洞之大可能连OpenAI都想象不到。

GPT-2其实还学了好几种编程语言。比方,JavaScript。

纽约大学工程学院的助理教授Brendan Dolan-Gavitt发现,GPT-2在学会写英文的同时,还悄悄学了一些js脚本语言

MIT的研究科学家、深度学习课老师Lex Fridman做了一个新应用:

DeepTweets,能通过一个人以往的推特内容进行内容模仿,自动生成新的伪推特。

GPT-2还有了更易用的封装版本,新加坡高中生开源轻量级GPT-2“客户端”。

轻松上手,轻量级,速度快。这就是这只名叫gpt2-client的包装器的突出特性。

一位来自加拿大的大四学霸,开发了一款“Deep TabNine”代码补全工具,实现了这一大胆的想法:

补全代码,支持23种编程语言、5种编辑器,使用简单,效果惊艳。

今日头条发布内容健康度检测工具“灵犬3.0”,能够识别这些低俗内容、暴力内容和标题党,同时应用了BERT和半监督技术,并且在此基础上使用了专门的中文语料,使得计算效率能达到实用水平。

本文分享自微信公众号 - 相约机器人(xiangyuejiqiren)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-08-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 关于如何使用以下技术微调机器和深度学习模型的简介:随机搜索,自动超参数调整和人工神经网络调整

    模型参数定义了如何使用输入数据来获得所需的输出,并在训练时进行学习。相反,超参数首先确定了模型的结构。

    代码医生工作室
  • Lyft开源L5自动驾驶数据集:55000个人工标注的3D注释框架,还有高清空间语义地图

    这份L5数据集内容丰富,加入了原始传感摄像头和激光雷达收集到的内容,内含55000个人类标注的3D注释框架,还有高清空间语义地图。

    代码医生工作室
  • 用于时间序列预测的AutoML

    最近,参加了AutoSeries —时间序列数据的AutoML竞赛,在其中设法获得40个竞争对手(决赛中的15个)的第一名。这篇文章是解决方案的概述。

    代码医生工作室
  • 那些年用过的开源项目(一)

    近期微软收购github新闻热搜各大媒体,微软,曾经开源的极力反对者,近几年也是积极拥抱开源。我司近来也是积极的拥抱开源,贡献了包括ui5,cloudfoudr...

    Bruce Li
  • 免费可商用字体

    下列字体均为免费可商用字体。大家最关心的可能是哪些字体可心免费使用, 却很少有人关注这些字体的出身。不过为了尊重字体作者,有出身的字体我会把每个字体的出处写明,...

    用户1730674
  • Facebook创建新开源组织TODO,Google、Twitter等继续捧场

    继WebScaleSQL后,Facebook继续加大在开源界的投入。在本周一的旧金山的@Scale会议上,Facebook宣布了两项开源领域的努力——用以帮助公...

    CSDN技术头条
  • 动态 | 亚马逊推出Auto SDK,欲将Alexa引入更多车载系统中

    AI科技评论消息,昨日,亚马逊宣布推出Alexa汽车核心(AAC)SDK或Auto SDK的开源版本,以帮助汽车制造商将Alexa语音控制集成到汽车及其信息娱乐...

    AI科技评论
  • 婚前婚后什么变了?短信词频分析告诉你

    Alice Zhao小姐是美国西北大学出身的数据科学家,她丈夫的职业虽然不明,但据她自豪地形容,至少也是一位nerd,因为当年他送给她的恋爱一周年礼物实在太棒了...

    数据派THU
  • 【情调】婚前婚后大不同,短信词频数据分析

    Alice Zhao小姐是美国西北大学出身的数据科学家,她丈夫的职业虽然不明,但据她自豪地形容,至少也是一位nerd,因为当年他送给她的恋爱一周年礼物实在太棒了...

    CDA数据分析师
  • 婚前婚后大不同,短信词频分析

    Alice Zhao小姐是美国西北大学出身的数据科学家,她丈夫的职业虽然不明,但据她自豪地形容,至少也是一位nerd,因为当年他送给她的恋爱一周年礼物实在太棒了...

    小莹莹

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动