首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

GPT 模型的工作原理 你知道吗?

当我使用 GPT 模型编写我的前几行代码时是 2021 年,那一刻我意识到文本生成已经到了一个拐点。在此之前,我在研究生院从头开始编写语言模型,并且我有使用其他文本生成系统的经验,所以我知道让它们产生有用的结果是多么困难。作为我在 Azure OpenAI 服务中发布 GPT-3 的公告工作的一部分,我很幸运能够及早使用 GPT-3,并且我尝试了它以准备它的发布。我让 GPT-3 总结了一份长文档,并尝试了少量提示。我可以看到结果比以前的模型先进得多,这让我对这项技术感到兴奋,并渴望了解它是如何实施的。而现在后续的 GPT-3.5、ChatGPT 和 GPT-4 模型正在迅速获得广泛采用,该领域的更多人也对它们的工作原理感到好奇。虽然其内部运作的细节是专有且复杂的,但所有 GPT 模型都共享一些不太难理解的基本思想。我这篇文章的目标是解释一般语言模型的核心概念,特别是 GPT 模型,并针对数据科学家和机器学习工程师进行解释。

02

基于自然语言进行交互式分子探索

今天为大家介绍的是来自Guotong Xie和 Zhiyuan Liu团队的一篇关于分子探索论文。在大型语言模型时代,自然语言被期望成为各种人机交互的关键媒介。在生物化学领域,围绕分子的一系列任务具有重要意义,同时也具有较高的技术门槛。将自然语言中的分子表达与化学语言相结合,不仅可以极大提高这些任务的可解释性和操作难度,还可以整合散落在各种辅助材料中的化学知识,以深入理解分子。基于这些好处,作者提出了对话式分子设计,这是一项采用自然语言描述和编辑目标分子的新任务。为了更好地完成这项任务,作者设计了ChatMol,一个生成式预训练模型,通过注入实验性质信息、分子空间知识以及自然语言与化学语言之间的关联来增强模型。

02
领券