专栏首页arxiv.org翻译专栏语境很重要:手语识别的自我注意(cs,AI)

语境很重要:手语识别的自我注意(cs,AI)

本文为连续手语识别任务提出了一注意力网络。拟议的方法利用相互依赖的数据流来建模手语模式。这些不同的信息渠道可以共享彼此复杂的时间结构。因此,我们关注同步并帮助捕获不同手语元素之间相互的关系。尽管手语是多渠道的,但手形代表了手语含义的核心实体。在正确的环境中看到手形定义了符号的含义。考虑到这一点,我们利用注意力机制有效地结合了手部特征及其适当的时空背景,从而更好地识别手势。我们发现,通过这样做,模型能够识别围绕占主导地位的手和面部区域的基本手语组件。我们在基准数据集RWTH-PHOENIX-Weather 2014上测试了我们的模型,产生了有争议的结果。

原文标题:Context Matters: Self-Attention for Sign Language Recognition

原文:This paper proposes an attentional network for the task of Continuous Sign Language Recognition. The proposed approach exploits co-independent streams of data to model the sign language modalities. These different channels of information can share a complex temporal structure between each other. For that reason, we apply attention to synchronize and help capture entangled dependencies between the different sign language components. Even though Sign Language is multi-channel, handshapes represent the central entities in sign interpretation. Seeing handshapes in their correct context defines the meaning of a sign. Taking that into account, we utilize the attention mechanism to efficiently aggregate the hand features with their appropriate spatio-temporal context for better sign recognition. We found that by doing so the model is able to identify the essential Sign Language components that revolve around the dominant hand and the face areas. We test our model on the benchmark dataset RWTH-PHOENIX-Weather 2014, yielding competitive results.

原文链接:http://cn.arxiv.org/abs/2101.04632

原文作者:Fares Ben Slimane, Mohamed Bouguessa

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 写给想要填报CS/AI志愿的考生们

    国内CS/AI方向又有很多新的变化,最明显的是各大高校纷纷设立人工智能学院,开始招收人工智能专业本科生。最近又要开始新的一轮填报志愿,我又来蹭个热点,花了些时间...

    昱良
  • 指南 | 写给正在填报志愿并对CS/AI感兴趣的2019考生们

    本文是在计算机专业日益火爆的当下,解答考生和家长们普遍好奇的问题,帮助考生更加理性地选择专业,希望更多真正喜欢CS/AI的考生选好学校选对专业。

    数据派THU
  • 刘知远:写给正在填报志愿并对CS/AI感兴趣的2019届考生们

    为的是在计算机专业日益火爆的当下,解答考生和家长们普遍好奇的问题,帮助考生更加理性地选择专业,希望更多真正喜欢CS/AI的考生选好学校选对专业。现在看,这篇短文...

    AI科技大本营
  • 清华刘知远:写给正在填报志愿并对CS/AI感兴趣的考生们

    2018年6月高考结束后,我写过一篇短文:《写给正在填报志愿并对CS/AI感兴趣的考生们-2018》。

    大数据文摘
  • 想本科入读人工智能专业,这篇文章送给准备填志愿的你

    在计算机专业和人工智能日益火爆的当下,很多人对这两个专业又是好奇又是憧憬。对此,清华大学刘知远教授近日在知乎上分享了一些内容,以帮助考生更加理性地选择专业,希望...

    机器之心
  • 想本科入读人工智能专业,这篇文章送给准备填志愿的你

    在计算机专业和人工智能日益火爆的当下,很多人对这两个专业又是好奇又是憧憬。对此,清华大学刘知远教授近日在知乎上分享了一些内容,以帮助考生更加理性地选择专业,希望...

    小小詹同学
  • 斯坦福AI课程10年发展史:CS 229最受欢迎,课程数量增两倍

    AI 正在改变世界,斯坦福大学处于这一趋势的最前沿。多年来,斯坦福已经涌现出许多 AI 方面的重大研究突破,斯坦福研究者也是 AI 领域的开拓者。

    机器之心
  • 斯坦福发布首份 AI Index 报告,AI 研究者不再茫然

    前不久斯坦福大学计算机科学教授,前谷歌首席科学家 Yoav Shoham 来到中国做了场《人工智能的过去、现在和未来》的报告,对人工智能的发展历史、现在所面临的...

    企鹅号小编
  • 在人工智能的浪尖上,如何抉择?

    知友:李麟 人工智能可以说是一门高尖端学科,属于社会科学和自然科学的交叉,涉及了数学、心理学、神经生理学、信息论、计算机科学、哲学和认知科学、不定性论以及控制论...

    IT派
  • 干货 | Siri 语音识别的小心机:你在哪里,就能更准确地识别那附近的地址

    AI 科技评论按:这篇文章来自苹果机器学习日记(Apple Machine Learning Journal)。与其他科技巨头人工智能实验室博客的论文解读、技术...

    AI科技评论
  • 2020 前端开源领域技术展望

    毫无疑问 TypeScript 将成为很长一段时间的主流,大型前端开源项目大都已经或正在全面拥抱 TypeScript,他能让我们拥有很多面向对象语言、强类型语...

    凡泰极客
  • 这个B站up主太硬核了!纯手工打造AI小电视:硬件自己焊接,驱动代码全手写

    一个低调的AI开发者,凭什么登上B站首页、一个视频百万播放,并且外行内行看了都服气?

    量子位
  • 如何自学CS?

    国家统计局的数据显示,2016 年信息传输、软件和信息技术服务业年平均工资为 122478 元,首超金融行业,并于 2017 年再次夺魁。

    AI科技大本营
  • 斯坦福教授发布首份 AI Index 报告,指引 AI 工作者不再“flying blind”

    AI 科技评论按:前两天斯坦福大学计算机科学院教授,前谷歌首席科学家 Yoav Shoham 来到中国做了场《人工智能的过去、现在和未来》的报告,报告中他除了介...

    企鹅号小编
  • 金融/语音/音频处理学术速递[6.28]

    【1】 Sovereign wealth funds: main activity trends 标题:主权财富基金:主要活动趋势

    公众号-arXiv每日学术速递
  • 音视频技术开发周刊 60期

    LiveVideoStack
  • 【吴恩达Quora最新问答】任何人都能成为机器学习专家

    【新智元导读】吴恩达刚刚在Quora做了一次最新session,重点回答了如何学习机器学习/深度学习,以及如何从事机器学习方向工作的问题。吴恩达认为,复现他人发...

    新智元
  • 搜狗发布新研究:语音+唇语让语音识别更准确

    未来的人类如何与机器人交流?我们既需要机器人模仿人类的语气、表情、动作,同样也需要机器人能理解我们。

    量子位
  • 数学转CS,看斯坦福NLP博士、Manning高徒Abigail See怎么学AI

    答:我在英国剑桥长大,很小的时候就对数学感兴趣。我喜欢做奥数题,本科时在剑桥大学学习纯粹数学。虽然数学很有意思,但我想研究一些与现实世界联系更强的东西,于是我转...

    机器之心

扫码关注云+社区

领取腾讯云代金券