专栏首页arxiv.org翻译专栏Multilogue-Net:一种用于会话中多模态情绪检测和情绪分析的上下文感知RNN(CS SD)
原创

Multilogue-Net:一种用于会话中多模态情绪检测和情绪分析的上下文感知RNN(CS SD)

会话中的情绪分析和情绪检测是许多实际应用程序的关键,不同的应用程序利用不同类型的数据能够实现合理准确的预测。多模态情绪检测和情绪分析可能特别有用,因为应用程序将能够使用特定的可用模式子集,根据它们的可用数据,能够产生相关的预测。当前处理多模态功能的系统无法通过所有的模态来利用和捕获对话的上下文,当前的说话者和听众在对话中,以及通过适当的融合机制在可用的模态之间的相关性和关系。在这篇论文中,我们提出了一个递归神经网络架构,它试图考虑所有提到的缺点,并跟踪对话的上下文、对话者的状态和说话者在对话中所传达的情绪。我们提出的模型在两个基准数据集上执行最先进的状态,具有各种精度和回归度量。

原文题目:Multilogue-Net: A Context Aware RNN for Multi-modal Emotion Detection and Sentiment Analysis in Conversation

原文:Sentiment Analysis and Emotion Detection in conversation is key in a number of real-world applications, with different applications leveraging different kinds of data to be able to achieve reasonably accurate predictions. Multimodal Emotion Detection and Sentiment Analysis can be particularly useful as applications will be able to use specific subsets of the available modalities, as per their available data, to be able to produce relevant predictions. Current systems dealing with Multimodal functionality fail to leverage and capture the context of the conversation through all modalities, the current speaker and listener(s) in the conversation, and the relevance and relationship between the available modalities through an adequate fusion mechanism. In this paper, we propose a recurrent neural network architecture that attempts to take into account all the mentioned drawbacks, and keeps track of the context of the conversation, interlocutor states, and the emotions conveyed by the speakers in the conversation. Our proposed model out performs the state of the art on two benchmark datasets on a variety of accuracy and regression metrics.

原文作者:Aman Shenoy, Ashish Sardana

原文地址:http://cn.arxiv.org/abs/2002.08267

原创声明,本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

登录 后参与评论
0 条评论

相关文章

  • 【哈工大SCIR】多模态情感分析简述

    随着社交网络的快速发展,人们在平台上的表达方式变得越来越丰富,如通过图文和视频表达自己的情绪和观点。如何分析多模态数据(本文指声音,图像和文字,不涉及传感器数据...

    zenRRan
  • 视频中多模态情绪识别的上下文动态(multimedia)

    情感表达是当今数字平台上用户行为的重要组成部分。虽然多模态情绪识别技术越来越受到人们的关注,但是对于如何在特定的环境下更好地识别情绪,而不是在其他环境下,使用视...

    用户6869393
  • 微软沈向洋等人长文:从Eliza到小冰,社交对话机器人的机遇和挑战

    机器之心
  • 清华、南大、中科院等15人获奖!CAAI公示2019 年度优秀博士论文

    近日,中国人工智能学会(CAAI)公示了2019年年度优秀博士学位论文评选的最终结果。

    新智元
  • 斯坦福NLP课程 | 第18讲 - 句法分析与树形递归神经网络

    ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课...

    ShowMeAI
  • 【金融客服AI新玩法】语言学运用、LSTM+DSSM算法、多模态情感交互

    编辑:张乾 【新智元导读】目前,金融业智能客服创业公司大量涌现,一方面说明行业整体技术壁垒较低,另一方面,也说明智能客服的在金融领域的应用商业场景还有巨大的开发...

    新智元
  • 将深度学习技术应用于基于情境感知的情绪识别

    延世大学和洛桑联邦理工学院(EPFL)的研究团队最近开发了一种新的技术,可以通过分析图像中的人脸和上下文特征来识别情绪。他们在arXiv上预先发表的一篇论文中介...

    脑机接口社区
  • 语言学运用、LSTM+DSSM算法、多模态情感交互在金融行业的应用

    聊起 AI,画面都充斥着机械语言:精密高级的芯片,光怪陆离的智能产业……你眼中的 AI 有什么样的能力?能给传统行业带来哪些变革与发展?基于此,云加社区联手知乎...

    腾讯云开发者社区
  • 基于音景模型的中西古典音乐比较研究(CS SD)

    无论是从字面上还是从暗示上,音景的概念在现代和古代音乐中都有所提及。在这项研究中,我们检验我们是否可以分析和比较基于音景模型的西方和中国古典音乐。我们通过比较研...

    用户6853689
  • 检信铸就品牌 创新引领未来-检信智能企业创新战略目标

    本发明公开了一种语音情感和面部表情双模态识别系统,包括情感数据的输入及其预处理模块、情感特征提取模块以及特征融合情感识别模块;情感数据的输入及其预处理模块,用于...

    检信智能AI心理测评
  • 【人脸表情识别】基于视频的人脸表情识别数据集与基本方法

    前面几篇专栏中,我们介绍了有关基于图片的人脸表情识别的相关内容。尽管该领域目前已取得了想当大的成就,但在实际使用中,仅仅依赖于图片并不一定能准确反映人的情绪状态...

    用户1508658
  • 【人脸表情识别】情绪识别相关会议、比赛汇总(2018-2020)

    前面专栏中,我们介绍了有关基于图片/视频的人脸表情识别的相关内容,也了解了通过回归的方式来理解表情的方式——基于连续模型的人脸表情识别。在专栏的最后一篇文章中,...

    用户1508658
  • 专栏 | 情感计算是人机交互核心?谈深度学习在情感分析中的应用

    竹间智能专栏 作者:竹间智能自然语言与深度学习小组 除自然语言理解(NLU)外,情感计算(Affective Computing)也成为近年来 AI 领域热门的...

    机器之心
  • 自然语言处理学术速递[12.8]

    【1】 raceBERT -- A Transformer-based Model for Predicting Race from Names 标题:Race...

    公众号-arXiv每日学术速递
  • 自然语言处理学术速递[6.21]

    【1】 BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked...

    公众号-arXiv每日学术速递
  • 女朋友生气了吗?算法比直男更懂她

    场景描述:利用 AI 技术判断一个人的情绪通常有两种途径,一种是通过面部表情,另一种是通过语音。前者已经比较成熟,而语音识别情感方面的研究,正在快速发展。近期,...

    HyperAI超神经
  • 女朋友生气了吗?算法比直男更懂她

    场景描述:利用 AI 技术判断一个人的情绪通常有两种途径,一种是通过面部表情,另一种是通过语音。前者已经比较成熟,而语音识别情感方面的研究,正在快速发展。近期,...

    我被狗咬了
  • 如果可以通过算法来判断女朋友有没有生气。。。

    知乎上有很多关于「如何判断女朋友是否生气」之类的问题,有人回答:字越少,事越大;还有人说:真生气,一个月不联系;假生气,会撒娇说「我生气了」。

    五分钟学算法
  • 金融/语音/音频处理学术速递[5.19]

    【1】 Deep Graph Convolutional Reinforcement Learning for Financial Portfolio Man...

    公众号-arXiv每日学术速递

扫码关注腾讯云开发者

领取腾讯云代金券