前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >面部表情识别新方式:Multimodal Learning实现Image与Landmark的融合

面部表情识别新方式:Multimodal Learning实现Image与Landmark的融合

作者头像
用户1737318
发布2018-06-06 12:00:23
1.1K0
发布2018-06-06 12:00:23
举报
文章被收录于专栏:人工智能头条

Multimodal Learning用于面部表情识别,多模态分别表现为图像数据和标记点数据,使用Multimodal Learning对二者融合的意义在于更全面地表现表情信息以及区分不同模态的数据对表情识别的影响。

模式识别领域国际权威期刊Pattern Recognition在2015年4月发表了山东大学视觉传感与智能系统实验室与华为诺亚方舟实验室的研究成果“Multimodal Learning for Facial Expression Recognition”,该文章提出的多模态学习(Multimodal Learning)算法开拓了面部表情识别的一种新方式。

面部表情识别是人工智能的一个重要领域,其应用领域也较为广泛,如人机交互、交通安全、智能医疗等。近年来,随着众多学者不断地探索与发现,面部表情识别已经取得了长足的进步,对面部表情的识别精度和效率的要求也越来越高,因此,如何在冗余数据中提取有效信息并针对不同信息进行区别对待成为面部表情识别领域的一个关键。最近几年,包括麻省理工(MIT)、卡耐基梅隆大学(CMU)、匹兹堡大学(University of Pittsburgh)、Google、微软、中科院等国内外知名研究机构和公司都在不断推进这项研究。

图1 针对表情识别的多模态学习结构

考虑到面部表情的整体性与局部细节完整性,山大和华为的研究人员在进行表情识别时融合了Image与Landmark信息,并具体分为5个模态的数据并同时输入到神经网络。在对神经网络采用AE(Auto-encoder)进行预训练时,为区分不同模态的数据对表情识别的影响,加入了结构化正则项(Structure Regularization),有效限制了隐层神经元与不同模态数据的连接,从而实现了网络区分不同模态数据对表情识别影响强弱的能力。山大和华为合作提出的多模态学习方法将Image与Landmark进行融合,使得输入数据能全面,与此同时,对不同输入信息区别对待,在表情识别任务上超过了其它研究机构,达到了业界领先水平。

图2 AE(a)与AE+SR(b)

山大张伟博士和华为马林博士介绍,多模态学习算法为面部表情的识别的展开了新的方式,他们会持续关注并进一步就该方向开展研究。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2016-04-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 人工智能头条 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
腾讯云小微
腾讯云小微,是一套腾讯云的智能服务系统,也是一个智能服务开放平台,接入小微的硬件可以快速具备听觉和视觉感知能力,帮助智能硬件厂商实现语音人机互动和音视频服务能力。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档