万小军：情感文本生成的研究与应用

一

报告导读

本次报告的主题是情感文本生成，先从自然语言生成技术的应用与需求开始讲起，引出情感表达型文本生成问题，从评论生成、情感对话、反讽生成、情感转换以及多模态情感生成这几个方面介绍了目前情感文本生成的研究进展。

二

专家介绍

万小军，北京大学计算机科学技术研究所研究员，博士生导师，语言计算与互联网挖掘研究室负责人。担任计算语言学重要国际期刊CL、NLE编委，TACL执行编辑，担任自然语言处理领域重要国际会议EMNLP-IJCNLP 2019程序委员会主席，多次担任ACL、EMNLP、AAAI等重要国际会议领域主席或高级程序委员。荣获ACL2017 杰出论文奖、IJCAI 2018 杰出论文奖、2017年吴文俊人工智能技术发明奖、CCF NLPCC青年新锐奖等荣誉或奖励。主要从事自然语言处理与文本挖掘相关研究，包括自动文摘与文本生成、情感分析与语义计算等。

三

报告内容

在人机交互领域，除了让机器理解人类的行为之外，还要让机器生成人类理解的语言，这些年自然语言生成也引起人们的重视。自然语言生成的应用，比如重要的新闻摘要、新闻写作，另外还有文化娱乐方面的作用，比如诗歌创作，写古诗也能写得很好。还有电商网站标题和说明的生成，会有比较有吸引力的标题，让大家点击购买。最后一个是用算法自动出的一本书，这也是未来很有意思的趋势。当然了，现在智能之写这样比较简单的书，写小说还是很难的。

再看一下机器写作的需求，从淘宝上搜了一下，卖相关写作软件的还是很多的，但这些软件功能还是比较单薄，只能做素材的推荐，或者是技术模板的套路化的文章写作。而且卖的价钱比较偏低，几块钱就能买一套，可能做得不是特别好，价格定得也比较低一些，所以这种需求还是非常旺盛的。我们的研究团队也做了很多写作机器人，包括今日头条合作的“小明”，写体育新闻。中间是跟南方都市报合作的写民生的新闻，比如天气、春运火车票。最后右边这个是跟科学网合作的，最新发表的科研的英文论文，自动通过机器翻译，通过风格的变换，把它转成中文的很短的新闻，方便大家了解最新的科学进展。

自然语言文本有很多类型，一个是新闻事实类的，描述具体的事情。在现在的新媒体时代，我们的人和网友在新媒体时代越来越多的表达自己的观点，有更多的情感表达型文本。这类文本的生成，这几年关注也比较多，事实描述性的文本关注比较多，现在是情感表达类的文本。

自然语言的目的，是带有特定情感的问本，比如你迟到了，可以生成不同类情绪的回复，这些回复带有特定的情感，你可以很高兴，也可以很愤怒，不同的情感都可以生成相应情感的文本，你的情感要是准确的。另外自然语言生成的文本也是流畅性比较好，生产的这样的情感文本跟上下文要合适，情感要合理。

情感文本的生成，有很大的作用，能够让机器更具有人性化。如果生成的文本只是客观描述事实，这样的算法还是比较不够人性化，所以希望机器跟人类有情感的交互。美国科幻电影《her》（中文译名《她》），说的就是这样的人类跟AI算法坠入爱河，有情感表达和语言表达的能力。另外还有评论的生成、情感对话、情感的转换。

评论的生成，针对特定的输入进行评论，当然可以指出是褒贬的评论，针对具体的特征，比如对于汽车来讲，有很多系列的特征，针对这些特征输入相应的分数，这些分数代表情感的倾向。5分代表非常满意，1分代表不满意。其它的几个特征上，分数是一样的，只有在舒适度上，从3分变成了5分。下列生成的结果中，3分的时候得到的结果是舒适型一般，毕竟是运动型的车。5分的时候是舒适度很好，包裹性很好，坐着很舒服。可以看到这是一个深层次的深度学习模型来完成的工作。

前面是特定输入的，还有的时候是希望生成一批的正面评论，一批的负面评论，这也是有实际需求的。比如正面宣扬某些东西，有这样的需要。这时候采用的是混合对抗的生成网络，这儿主要采用多类的分类器做成鉴别器，在生成文本的时候能够有效克服模式坍塌的问题，让生成的文本更具有多样性，而不至于生成单一模样的文本。最后的结果也展示了我们预期的效果，一个是情感准确性上比传统模型要好很多，在多样性上，这些文本之间互相差别比较大，我们最后的模型也有这样的优势，流畅性也有这样的优势。

接下来是情感的对话，这是昨天找到的一个cake chat聊天工具，说一句话给你生成一个回复。要求回复的时候，可以选择右边情绪的类别，是快乐的还是愤怒的，它会相应生成对应的快乐回复还是愤怒回复。这是比较有意思的demo，做得并不够完善，本身也比较难，只是一个尝试。所以用了很多表情符，可以代表情绪类别，在文字上也做了相应的修改。在前面的基础上做成一个条件的模型，在给定的上下文用编码器先做一个编码，把编码结果进行一个输入，最后会得到比较好的情感对话的结果。比如说我需要离开这个房间，指定的结果如果是正面的，就会说“爱你，什么时候回来？”如果是负面的，就会说“不要回来了”，所以保证回复比较相关，同时又能够保证情感的准确性。

另外一个情感生成的任务是情感转换，要求在情感之外的其他内容保持一致，当然只是说情感，比如从消极变成积极。另外还可以做文章的润色，加一个正面情感或者加一个正面情感的句子。传统的方法，有些是基于短语的方法，从原始生活中检测对应的情感表达的短语，把这个原始的短语删掉，再从数据中挑选一些跟当前句子相似的符合特定情感的表达，把内容插进来，得到最终的结果。这里面会有一些问题，不够灵活，可能无法控制情感转换的程度。所以我们自己提出一个方法，我们会直接修改隐空间（latent space），做一个很小的修改，保证内容变化很小，同时经过很小的修改之后，让情感分类器得到想要的情感。这样的模型，用了这样的算法，快速梯度迭代，对空间进行很好的修改。所以看一下最后一个实践的例子，从正面转成负面，输入的句子是“非常好的服务和食物”，修改权重比较小的时候直接转成负面。如果修改权重很大的时候，就是“非常差的服务和食物”，控制情感的程度，是模型的优势。

接下来是更难的任务，有时候我们表达情感，并不是字面的，而是正话反说或者反话正说，反讽的一个形式。比如这个例子，“我的计划被破坏了，我很喜欢！”这是反讽的说法，但是它用了很多正面的词汇。这种情况在日常生活中很多，但这样文本的生成非常困难。所以我们也做了一个模型，主要考虑到会有反讽的鉴别器，做一个奖励的函数。生成情感前后要保持一致，要做一个奖励函数，在模型中起比较重要的作用，最后让非反讽的句子变成反讽的句子。最后就得出这样一个结果，这个结果不是特别完美，比如不想睡，明天可能很有趣，这是原始输入的句子，最后生成“不想睡，很沮丧，明天会很有趣”，最后就生成反讽的效果，符合人类的实际用法。

最后一个，生成带有情感的自动图像描述（caption），要带有正面情感词的，这样的结果也能做得比较好，只要标注大量的带有情感的数据，就能设计比较好的模型生成对应的特定情感的描述结果。第二个任务，多模态的反讽生成，图片生成对应的句子，配合在一块形成反讽的效果。像这个图片天气是不好的，乌云密布，而我们设计的词汇是“非常好的天气”，就跟文本语义达到了反讽的效果。我们做了尝试，没有办法解决这样的问题，这个问题是非常困难的。所以情感的生成，可以跟不同模态融合一块，生成语言的同时生成口形，不但文本上有情感，最后语音合成的时候，语音也具有一定的情感，最后在文字、图像、语音上都是具有相关的情感，最后能够得到更好的交互效果。