现在当下正红火的是ChatGPT杀手级应用,上一代杀手级应用是WeChat。两者的共同要素就是 “Chat”,而前者是 We(群众)人来驱动;而后者是 GPT,大模型 AI 驱动。不能不说在产品命名上,一方面有一定的随机性,但另一方面,也代表产品创始人的深入思考。很多命名深入其产品的精髓,无论是WeChat还是ChatGPT。
其实WeChat中的We还有另外一种解释。有一种自然语言转换为向量表示形式,也称为Word Embeddings(WE)。这种方法是Tomas Mikolov及其同事,在2013年提出了Word2Vec模型,该模型通过将单词映射到高维空间中的向量来表示它们,从而在语义上捕获单词之间的关系。利用Word Embeddings,我们可以构建出一些简单的对话系统,如检索式对话系统。这种系统通过查找用户输入的关键词并返回与之相关的响应来进行交互。但是,这种方式很容易出现问题,因为它无法在多个层次上理解语句的含义和上下文信息。
为了进一步提高对话系统的性能,研究人员开始将深度学习技术用于对话生成,其中最具代表性的模型是Generative Pre-trained Transformer(GPT)。GPT由OpenAI团队开发,是一种以Transformer结构为基础的自回归语言模型。与传统的基于规则的系统不同,GPT可以自主地学习和提取语言中的模式,并生成自然流畅的文本。该模型使用大量的语料库进行训练,从而可以理解语言的复杂性和上下文信息。
看到没?ChatGPT好像是与WeChat商量好的一场接力赛。ChatGPT很好地弥补了ChatGPT对上下文及多个层次上语言的复杂性。
尽管WE和GPT在技术和实现上有很大的不同,但是它们都是为了更好地理解和生成自然语言而创建的。尤其是,它们都致力于实现对话和交流。Chat这个词代表着人类之间最基础的交流形式,也是AI研究者努力追求的目标。因此,在从WE到GPT的过程中,不变的是 Chat。
领取专属 10元无门槛券
私享最新 技术干货