完蛋！ChatGTP检测器来了，100%识别人工智能写作的论文

撰文丨王聪

编辑丨王多鱼

排版丨水成文

ChatGPT，是由人工智能研究实验室OpenAI于2022年11月30日发布的基于大预言模型（LLM）的聊天机器人，它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流。自推出以来，ChatGPT强大的能力备受关注。一些已发表的论文显示，ChatGPT可以生成看起来非常真实的欺诈性科学论文，这引发了人们对科学研究的完整性和发表论文的可信度的严重担忧。

著名学术打假人Elisabeth Bik表示，ChatGPT和其他生成式人工智能工具的迅速崛起将给论文工厂提供助力，从而让学术不端问题严重恶化。我非常担心现在已经有了大量我们无法甄别的论文。

2023年11月6日，美国堪萨斯大学的研究人员在Cell 子刊Cell Reports Physical Science 上发表了题为：Accurately detecting AI text when ChatGPT is told to write like a chemist 的研究论文。

该研究开发了一款基于机器学习的工具——“ChatGPT检测器”，通过写作风格特征来区分人类和人工智能作者，能够以前所未有的准确性识别人工智能（包括最新的ChatGPT-4）生成的论文。

在今年6月份，Heather Desaire等人首次描述了他们开发的ChatGPT检测器【2】，这一使用现成的机器学习的检测器检查了20个写作风格特征，包括句子长度的变化，特定单词和标点符号的使用频率等，来确定一篇文章是学术科学家写的还是ChatGPT写的。研究结果表明，这一检测器可以使用一组写作风格特征来获得超高准确性。

在这项最新发表的论文中，研究团队使用美国化学会（ACS）出版的十本化学期刊的论文的介绍（introduction）部分来训练ChatGPT检测器。这十本化学期刊是：Inorganic Chemistry、Analytical Chemistry、Journal of Physical Chemistry A、Journalof Organic Chemistry、ACS Omega、ACS Nano、Journal of Chemical Education、Environmental Science and Technology、Chemical Research in Toxicology和ACS Chemical Biology。在使用100篇已发表的论文的introduction的训练后，要求ChatGPT-3.5以ACS期刊的风格写200篇introduction，其中100篇，只向其提供了论文标题（title），而另外100篇，向其提供了论文摘要（abstract）。

对比来自同一期刊的人类写作的介绍（introduction）和ChatGPT-3.5写作的介绍（introduction），如果该介绍（introduction）是基于提供的论文标题（title）写作的，那么ChatGPT检测器能够100%识别出哪些是ChatGPT-3.5写作的。如果该介绍（introduction）是基于提供的论文摘要（abstract）写作的，那么ChatGPT检测器的识别准确率略低一点点，为98%。此外，ChatGPT检测器对ChatGPT的最新版本——ChatGPT-4写作的文本的识别效果一样好。

相比之下，人工智能检测器ZeroGPT识别ChatGPT写作的介绍（introduction）的准确率仅为35%-65%，这取决于使用的ChatGPT版本（ChatGPT-3.5或ChatGPT-4）以及介绍（introduction）是根据论文的标题（title）还是摘要（abstract）生成的。

而ChatGPT的开发者 OpenAI 公司的文本分类器工具的表现最差，它只能以大约10%-55%的准确率识别人工智能写的介绍（introduction）。

那么，这一ChatGPT检测器对于上述训练集以外的期刊的论文的识别效果如何呢？

研究团队选择了来自不同出版商的为包括在上述训练集中的期刊的150篇论文的介绍（introduction），分别来自Cell Press的Cell Reports Physical Science、来自Nature Publishing Group的Nature Chemistry和来自ACS的Journal of the American Chemical Society。结果显示，这一ChatGPT检测器在这些没有训练过的期刊的论文介绍（introduction）的识别率表现良好，识别准确率在92%-98%。此外，ChatGPT检测器还捕捉了从各种提示词中创建的人工智能文本，包括旨在迷惑人工智能检测器的提示词。

然而，这一ChatGPT检测器对科学期刊论文具有高度专业性。当给它提供来自大学的报纸的真实文章（非期刊论文）时，它未能识别出它们是由人类所写作的。

像ChatGPT这样的大语言模型（LLM）可以快速生成看起来非常真实的文本，但许多期刊出版商拒绝将ChatGPT等人工智能模型作为论文作者。因此，迫切需要一种准确区分人类写作的文本和人工智能生成的文本的方法。

该研究所开发的ChatGPT检测器，能够准确识别来自科学期刊的论文是人类写作的还是人工智能写作的，包括目前最先进的ChatGPT-4，更重要的是，那些旨在迷惑人工智能检测器的提示词生成的文本也能够被准确识别。

论文链接：

https://doi.org/10.1016/j.xcrp.2023.101672

https://doi.org/10.1016/j.xcrp.2023.101426