首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

张钹院士:对大模型的研究很迫切,不能解释不清楚就说“涌现”

新京报贝壳财经讯(记者孙文轩)9月6日,在百川智能Baichuan2开源大模型发布会上,中国科学院院士、清华大学人工智能研究院名誉院长张钹表示,关于大模型本身的学术研究非常迫切与重要,到现在为止国内的大模型主要集中在垂直领域的应用上,因此他很支持百川智能把这次的开源模型定位在助力学术研究上。

张钹指出,到现在为止,全世界对大模型的理论工作原理、所产生的现象都是一头雾水,所有的结论都推导产生了“涌现现象”。“所谓‘涌现’就是给自己一个退路,解释不清楚的情况下就说它是‘涌现’。实际上这反映了我们对它一点不清楚。这个问题必须搞清楚,我们才有可能发展出有中国特色的大模型。”张钹表示,对此,有三个方面的问题研究比较重要。

首先是“大模型为什么能够产生出来非常连贯的、多样化的人类语言?”在他看来,这主要靠三方面的措施,第一是文本的语义表示,也就是把文本里的词、句、段落全变成向量,这给构造一个连续的拓扑空间创造了条件。第二个是转换器,注意力机制可以保证上下文的一致性。最后一个是下一个词的预测。

第二个问题是,大模型为什么会产生幻觉?他指出,这个问题涉及到ChatGPT跟人类自然语言生成原理的不一样,最根本的区别在于,ChatGPT生成的语言是外部驱动的,而人类的语言是在自己意图的情况下驱动的,所以ChatGPT内容的正确性和合理性不能保证。

张钹进一步指出,只有经过ALignment(对齐)才能解决这个问题。之所以能从GPT3.5到GPT4,几个月的时间有那么多的变化,主要就是“对齐”的功劳。而在“对齐”方面,国内做的工作太少。不过他同时也指出,做“对齐”是做治理,但是治理以后内容的质量、多样性会下降,所以还需要平衡开放和治理的关系。

张钹把ChatGPT生成的语言称作GPT语言。他表示,第三个需要研究的问题是,将来努力的方向是什么,是不是想把GPT语言完全对齐到人类的自然语言?他认为这个可能性不大。“因为想实现这个目标,你必须让GPT有自我意识。”

他同时表示,这样也没有必要,因为人工智能追求机器的智能,希望这个智能跟人类的智能不一样,它某些方面比人类有优势,某些方面比人类有缺点,只有这样人类才能和机器和平共处。“目前最重要的是,我们要研究、了解GPT语言,只有彻底了解了它,才能更好地发展它,使用它,或者说从产业的角度来讲才可以发展出更健康的人工智能产业。”

校对 柳宝庆

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OU5AEMZ_hUm_gbQZp2hT7hdw0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券