【DTU博士论文】面向自然语言处理的深度潜变量模型

来源：专知本文为论文介绍，建议阅读5分钟本文探索先进的优化方法和潜变量模型的设计，以完成自然语言处理任务。

多人工智能任务的改进。隐变量模型提供了一个优雅的框架，以新的功能来增强生成算法。然而，在自然语言处理领域，尚不清楚如何最好地将潜变量与强大且无处不在的语言模型相结合。

https://vlievin.github.io/deep-lvms-for-nlp.pdf

本文探索先进的优化方法和潜变量模型的设计，以完成自然语言处理任务。全文共分为三个部分。在第一部分中，我们提出了隐变量语言模型的三种结构。本文讨论了结构化的潜空间，可以结构化为大型知识库(如维基百科)或以潜文本生成过程为特征。在第二部分中，我们深入研究变分推理和优化的主题。本文提出一种新的离散潜变量梯度估计器OVIS。我们发现，即使使用OVIS，优化深度潜变量模型仍然具有挑战性。本文根据经验数据表明，Rényi散度变分推理可以应用于规避一些学习问题。在第三部分中，我们重点解决医疗问答和信息检索任务。实验提示预训练大型语言模型(GPT-3)生成逐步的问题解决方案。本文报告称，在许多情况下，GPT-3可以推理具有挑战性的医学问题。提出了一个新的框架VOD，用于用变分推理学习检索增强语言模型。本文应用VOD来优化由大量维基百科增强的问答系统，并报告了在医疗问答基准上的最先进性能。最后，将得到的模型应用于罕见病诊断领域的信息检索任务。