2022年CCF-腾讯犀牛鸟基金课题介绍—知识图谱与自然语言处理&语音技术

腾讯高校合作

发布于 2022-05-31 19:10:07

5190

发布于 2022-05-31 19:10:07

文章被收录于专栏：腾讯高校合作

CCF-腾讯犀牛鸟基金于2013年由腾讯公司和中国计算机学会（CCF）共同发起，今年是基金发起的第10年。10年来，犀牛鸟基金致力于为海内外青年学者搭建产学合作创新的平台，推动科技在产业创新和社会发展中持续发挥价值。

本年度犀牛鸟基金设立12个技术领域共35项研究命题，我们将分7期对各项命题进行详细介绍，本文重点聚焦知识图谱与自然语言处理&语音技术领域，欢迎海内外优秀青年学者关注并申报。

6.知识图谱与自然语言处理

6.1 自然语言生成

自然语言生成是指在特定的交互目标下，根据给定的输入信息生成人类可读的自然语言文本的自动化过程。近几年来，本领域的技术取得了重大的突破和进步，在媒体、娱乐、教育、电商等多个行业中均展现出巨大的应用潜力。目前，自然语言生成已经成为自然语言处理乃至人工智能领域的热门前沿方向，受到学术界与工业界的广泛关注。本课题旨在探索自然语言生成相关的技术和方法。

建议研究方向：

1) 大型语言模型和其他生成模型，包括新颖的模型架构和高效的训练方法；

2) 长文本生成，例如故事生成和文档生成；

3) 可控的文本生成，包括以属性、提示、表格、检索语句、图像或视频为条件的文本生成；

4) 知识、语义和其他推理信息在自然语言生成中的应用；

5) 生成模型的模型分析，包括可解释性分析、鲁棒性分析、攻防分析；

6) 开放式生成任务的自动评估方法。

6.2 自监督的开放域对话持续学习

构建可持续学习的开放域对话模型是极具挑战性的任务。首先，开放域对话数据涉及多个领域，现有模型很难同时从多领域数据学到有效知识；其次，现有模型往往依赖大量标注数据，存在标注数据花销大、工作模式不可持续等问题；最后，开放域对话系统如何利用外部知识进行自监督学习框架探索仍然缺乏深度研究，包括通用对话策略、对话状态、知识体系的定义、设计与更新等。

本课题旨在研究如何构建可持续学习的开放域对话模型，在充分利用已有多领域数据基础上，实现自监督地学习新领域知识，完成模型自我知识的持续更新。

建议研究方向：

1) 如何从多领域对话数据上做到有效知识迁移，从而学习到统一有效知识；

2) 在保证不忘记已有能力的前提下，如何学习新任务；

3) 如何通过自监督和持续学习完成对知识体系与用户特性的构建和更新；

4) 如何定义通用的基于符号的开放域对话状态，以及对话过程中如何动态更新对话状态；

5) 如何定义通用的对话Action，以及如何自动学习对话策略。

6.3 预训练模型微调方法与基于预训练模型的小样本学习

最近，大规模预训练语言模型通过大量无监督语料以及合理的自监督任务提升了文本表征能力。在小样本学习的场景中，由于训练数据稀少，提升模型的泛化能力以及迁移能力成为关键。一系列研究表明，预训练语言模型积累了语言知识，并且具备一定的知识推理能力，从而有效提升了原有深度模型的泛化能力。借助预训练模型，通过预训练与微调的范式，在多个场景的小样本学习中均取得了不错的效果。本课题旨在探索预训练模型的微调范式，进一步消除预训练和微调阶段的差异，更好地利用预训练模型中丰富的语义知识，从而提升小样本学习效果。

建议研究方向：

1) 改进微调范式，分析主流微调范式(Prompt-tuning, adapter)和不同下游任务之间的差异，提出更贴合下游任务的微调范式；

2) 数据增强，利用下游任务中大量的无监督数据，提升微调阶段的效果。

6.4 金融事件演变表示研究

金融资讯包括财经新闻、财报、研报、社区评论等，对股价预测、投资风险控制有着重要影响。资讯中的金融事件通过相同实体、相关行业概念、同类型事件、不同事件的时序或因果关系等构成了一个复杂且不断演变的网络。新的金融事件对不同股票的价格影响不一，相同类型的事件在不同时间产生的影响也不尽相同。本课题旨在研究如何表征金融事件的动态演变，进而提取有效的股价预测因子或投资风险特征，是人工智能赋能量化投资、金融风险控制的重要课题。

建议研究方向：

1) 金融舆情事件的网络构建与更新技术；

2) 个股、行业板块的金融事件演变特征提取；

3) 基于不同时间粒度的金融事件股价预测因子构建；

4) 基于不同时间粒度的金融事件投资风险识别特征构建；

5) 效果验证方案设计与评估。

7.语音技术

7.1 多语言语音合成及跨语种音色迁移技术研究

近些年来端到端语音合成技术已大大提升合成语音的表现力及自然度，然而如何构建一个通用的高自然度的多语言语音合成系统仍具挑战性。通常在多语言语音合成模型训练中，仅含有来自不同语言的单语说话人数据可用（例如数据中含有说话人A的中文语音数据，说话人B的英文语音数据，说话人C的日文语音数据，但来自同一个说话人的中/英/日跨语言数据非常稀缺）。在不引入额外训练策略和方法的情况下，仅基于来自单语说话人的多语言数据训练的合成模型在进行跨语言合成时往往具有目标说话人音色不一致或自然度较低的问题。此课题旨在提出更好的模型结构以及引入更好的训练策略允许在多语言语种间进行说话人音色、风格等迁移实现合成语音在语种、音色、风格的自由组合。

建议研究方向：

1) 利用domain adversarial学习对声学模型编码后表征进行语言，说话人，内容等因子进行解藕；

2) 模型中引入合适结构的说话人和语言编码器，利用多任务学习在两个编码器分别施加说话人分类和语言分类损失函数获取说话人和语言的信息同时引入正交损失鼓励两个编码器的解藕等。