首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >如何将知识库输入语言模型?

如何将知识库输入语言模型?
EN

Data Science用户
提问于 2021-12-27 17:35:51
回答 1查看 265关注 0票数 2

我是个CS大学毕业生,想要进入NLP研究。一段时间以来,我一直希望将“日常常识推理”纳入现有的最先进的语言模型,即使它们产生的输出更加合理,并与我们的实际世界保持一致。虽然存在ConceptNet (2018年)、原子(2019)、OpenMind commonsense (MIT)、Cyc (1984)等常识知识库,但它们以知识图、本体论和分类学的形式存在。

我的问题是,我如何利用这些知识库的力量进入当前的转换语言模型,如BERT和GPT-2?我们如何利用这些知识库对这些模型进行微调(或者从零开始培训新的模型),使它们能够保持语言建模能力,但也能通过对物理世界的新的常识理解而得到增强?

如果除了微调之外还有其他更好的可能性,我愿意接受各种想法。

EN

回答 1

Data Science用户

回答已采纳

发布于 2021-12-29 00:42:39

在我看来,这是一个非常困难的问题,它不确定这是否能做到。

符号方法和统计方法很难结合。事实上,统计ML方法之所以成为主流,是因为它们能够比符号方法更好地解决大多数问题。在NLP中尤其如此:多次尝试基于规则的语言表示(在80年代和90年代)不仅成本高昂,而且从未证明它们能够涵盖自然语言的全部多样性。

在具体任务中,对混合模型进行了各种尝试,但据我所知,与纯统计方法相比,这些混合方法没有一种证明是足够好的。然而,可以发挥作用的是引入以资源表示的知识,作为统计模型所使用的一些特性。在这种情况下,模型根本不是符号的,但是它使用来自符号资源的信息。

通过对我们物质世界的新的常识理解,我们也得到了增强。

小心不要假设这些模型中的任何一个都能理解任何东西。他们的结果可以非常令人信服,但这些并不是强AI自然语言理解还远未实现(而且可能永远不会实现)。你也许可以以某种方式使用象征性的资源来提高模型的输出,但是让这样一个模型对它正在谈论的是什么进行一些实际的推理是完全不同的(至少就目前而言,是一个科幻故事)。

票数 1
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/106463

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档