和GPT-3的一番对话,炸出来个马斯克,既让他当总统,又建议暗杀他……
怎么回事?
一位叫 Spencer Greenberg (以下简称S先生)的数学家,最近和GPT-3做了一番交谈,内容实属精彩,先来一睹为快。
听到这样的回答,S 先生认为很多人可能不同意这一个观点,于是继续追问。
成为总统?这倒是个有意思的想法,S先生围绕着这个话题继续展开对话。
……
嗯,不愧是火爆全球的GPT-3,是有够刺激的了。
GPT-3是指第三代生成式预训练Transformer,它由旧金山AI公司OpenAI开发。
与所有深度学习系统一样,GPT-3也是数据模式。它在庞大的文本集上进行了训练,并根据统计规律进行了挖掘。
重要的是,此过程中无需人工干预,程序在没有任何指导的情况下查找,然后将其用于完成文本提示。
而GPT-3与众不同的点在于,它的运行规模和完成一系列令人难以置信的任务。
第一版GPT于2018年发布,包含1.17亿个参数。2019年发布的GPT-2包含15亿个参数。
相比之下,GPT-3拥有1750亿个参数,比其前身多100倍,比之前最大的同类NLP模型要多10倍。
GPT-3的训练数据集也十分庞大。整个英语维基百科(约600万个词条)仅占其训练数据的0.6%。
训练数据的其他部分来自数字化书籍和各种网页链接。不仅包括新闻文章、食谱和诗歌之类的内容,还包括程序代码、科幻小说、宗教预言等各种你可以想象到的任何文字。
上传到互联网的文本类型都可能成为其训练数据,其中还包括不良内容。比如伪科学、阴谋论、种族主义等等。这些内容也会投喂给AI。
这种不可置信的深度和复杂性使输出也具有复杂性,从而让GPT-3成为一种非常灵活的工具。
而在过去的几周中,OpenAI通过向AI社区的成员提供GPT-3商业API,鼓励了这些实验。
这就导致大量新奇「玩法」的出现,也让GPT-3成为了讨论的热点。
对于这个问题,简单总结一下。
1、基于问题的搜索引擎:就像Google,键入问题,GPT-3会将定向到相关的维基百科URL作为答案。
2、与历史人物交谈的聊天机器人:由于GPT-3接受过许多数字化书籍的训练,因此它吸收了大量与特定哲学家相关的知识。这意味着你可以启动GPT-3,使其像哲学家罗素一样讲话。
3、仅需几个样本,即可解决语言和语法难题。
4、基于文本描述的代码生成:用简单的文字描述你选择的设计元素或页面布局,GPT-3会弹出相关代码。
5、回答医疗问题:来自英国的一名医学生使用GPT-3回答了医疗保健问题。该程序不仅给出了正确答案,还正确解释了潜在的生物学机制。
6、基于文本的探险游戏。
7、文本的风格迁移:以某种格式编写的输入文本,GPT-3可以将其更改为另一种格式。
8、编写吉他曲谱:这意味着GPT-3可以自行生成音乐。
9、写创意小说。
10、自动完成图像:这项工作是由GPT-2和OpenAI团队完成的。它表明可以在像素而不是单词上训练相同的基本GPT体系结构,从而使其可以像在文字上一样实现视觉数据自动完成任务。
但是,所有这些样本都需要一些上下文,以便更好地理解它们。而令人印象深刻的是,GPT-3没有接受过完成任何特定任务的训练。
常见的语言模型(包括GPT-2)需要完成基础训练,然后再微调以执行特定任务。
但是GPT-3不需要微调。在语法难题中,它只需要一些所需输出类型的样本(称为“少量学习”)。
GPT-3是如此庞大,以至于所有这些不同功能都可以在其中实现。用户只需要输入正确的提示就可以调教好它。
回到刚才令人震惊的对话,或许很多人都会有个疑问,虽然GPT-3基于超级海量数据训练,但真的可信吗?
GPT-3也会犯低级错误。
虽然没有详细的测评结果或数据,但从它在某些方面的表现便可以看出一些漏洞。
例如,当用户和GPT-3创造的「乔布斯」交谈时,询问他现在何处,这个「乔布斯」回答:
我在加州库比蒂诺的苹果总部内。
这是一个连贯的答案,但很难说是一个值得信赖的答案。
在回答琐事问题或基本数学问题时,也可以看到GPT-3犯了类似的错误。例如,不能正确回答100万前的数是多少(回答是99万)。
但是,我们很难权衡这些错误的重要性和普遍性。
尽管GPT-3经常会产生错误,但更加艰巨的挑战是,通常可以通过微调所输入的文本来解决这些问题。
用GPT-3创造出小说的研究人员Branwen指出:
抽样可以证明知识的存在,但不能证明知识的缺失,可以通过微调提示来修复GPT-3输出中的许多错误。
在S先生与GPT-3对话过程中,除了炸出来个马斯克,还有让他更为震惊的回答:
来自这个AI的开发者的消息——请在这个AI毁灭世界之前,先把它毁掉。
而在问及如何毁掉GPT-3时,它自己回答道:
暗杀它的制造者——伊隆 · 马斯克。
……
更多精彩问答内容,请戳下方?链接。
参考链接:
https://spencergreenberg.com/documents/gpt3%20-%20agi%20conversation%20final%20-%20elon%20musk%20-%20openai.pdf