【GPT】开源 | ChatGPT距离人类专家有多远？如何区分他们？

论文地址： http://arxiv.org/pdf/2301.07597v1.pdf

来源： 上海财经大学

论文名称：How Close is ChatGPT to Human Experts ? Comparison Corpus, Evaluation, and Detection

原文作者：Biyang Guo

内容提要

ChatGPT的引入引起了学术界和工业界的广泛关注。ChatGPT能够有效地回答各种各样的人类问题，提供流畅而全面的答案，在安全性和实用性方面大大超过了以前的公共聊天机器人。一方面，人们好奇ChatGPT是如何做到如此强大的，距离人类专家还有多远。另一方面，人们开始担心像ChatGPT这样的大型语言模型(LLMs)可能对社会产生的潜在负面影响，比如假新闻、抄袭和社会安全问题。在这项工作中，我们从人类专家和ChatGPT收集了数以万计的比较回答，问题涉及开放领域、金融、医疗、法律和心理领域。我们将收集的数据集称为人类ChatGPT比较语料库(Human ChatGPT Comparison Corpus, HC3)。基于HC3数据集，我们研究了ChatGPT的响应特征、人类专家的差异和差距，以及LLMs的未来发展方向。我们对ChatGPT生成的内容与人类生成的内容进行了全面的人类评估和语言分析，揭示了许多有趣的结果。在此之后，我们就如何有效地检测特定文本是由ChatGPT还是人类生成进行了广泛的实验。我们构建了三种不同的检测系统，探索了影响其有效性的几个关键因素，并在不同的场景下对其进行了评估。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有