专栏首页arxiv.org翻译专栏DBATES:竞争性辩论演讲中音频特征、文本和视觉表达的数据库(CS DB)

DBATES:竞争性辩论演讲中音频特征、文本和视觉表达的数据库(CS DB)

在本论文中,我们提出了一个从2019年北美大学辩论锦标赛(NAUDC)辩论演讲中提取的多模式通信特征数据库。特征集从竞争激烈的大学辩论者的视觉(面部表情、凝视和头部姿势)、音频(PRAAT)和文本(单词、情感和语言类别)模式中提取出来(N=717,6分钟,来自140位独特的辩论者)。每个演讲都有来自专家评委以及竞争对手的人口统计和全面反思调查的相关比赛辩论得分(范围:67-96)。我们观察到,与在各种模态组成下训练的模型相比,完全多峰模型的性能最佳。我们还发现,在上述模型之间,某些功能的权重(例如喜悦的表达和“我们”一词的使用)在方向上发生了变化。我们使用这些结果来强调多模式数据集在研究竞争性,大学辩论中的价值。

原文题目:DBATES: DataBase of Audio features, Text, and visual Expressions in competitive debate Speeches

原文:In this work, we present a database of multimodal communication features extracted from debate speeches in the 2019 North American Universities Debate Championships (NAUDC). Feature sets were extracted from the visual (facial expression, gaze, and head pose), audio (PRAAT), and textual (word sentiment and linguistic category) modalities of raw video recordings of competitive collegiate debaters (N=717 6-minute recordings from 140 unique debaters). Each speech has an associated competition debate score (range: 67-96) from expert judges as well as competitor demographic and per-round reflection surveys. We observe the fully multimodal model performs best in comparison to models trained on various compositions of modalities. We also find that the weights of some features (such as the expression of joy and the use of the word we) change in direction between the aforementioned models. We use these results to highlight the value of a multimodal dataset for studying competitive, collegiate debate.

原文链接:https://arxiv.org/abs/2103.14189

原文作者:Taylan K. Sen, Gazi Naven, Luke Gerstner, Daryl Bagley, Raiyan Abdul Baten, Wasifur Rahman, Kamrul H

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 训练AI来玩CS反恐精英!清华朱军与剑桥博士后的这项研究太燃了 | 童年回忆

    当听到CS这句经典的台词时,我就不禁想大喊一声:AWSL ! 俺的童年回忆!!!

    AI科技评论
  • 读累了看视频 :YouTube上最火的10个大数据视频

    翻译 | 伯乐在线 - 柒柒 原文来自Eileen McNulty 无论你对大数据一无所知,还是想要拓展机器学习方面的知识;无论你有三小时,还是三分钟;无论你...

    CDA数据分析师
  • AI 影响因子7月份回顾:顶会论文收获季,一马当先的研究院原来是它!

    「AI 影响因子」是雷锋网学术频道 AI 科技评论旗下数据库项目,旨在呈现国内企业研究院学术&开发实力,为高校学生及从业者提供在会议/期刊论文、数据集比赛及开发...

    AI科技评论
  • NIPS大会最精彩一日:AlphaZero遭受质疑;史上第一场正式辩论与LeCun激情抗辩;元学习&强化学习亮点复盘

    机器之心
  • AI假脸王生成!新一代GAN攻破几乎所有人脸识别系统,胜率95%

    2015年,现任教皇方济各 (Pope Francis) 访美,他是首次对美国进行正式访问的教皇,还将主持在美国领土上的首次封圣,并在国会发表演讲。时任美国总统...

    新智元
  • 技术创作101训练营第2季直播内容分享要点

    浊世一壶酒
  • 音视频技术开发周刊 60期

    LiveVideoStack
  • 2021敏捷软件工程需求评审答辩问题总结与建议

    这次答辩时间比较紧,本文是以提建议为主,因此会确保足够的建设性,希望大家在需求部分的后续工作中将相关部分进行必要的优化和完善。以及如有疑问,或者需要进一步沟通的...

    HansBug
  • 响铃:抖音的敌人不是快手

    张一鸣手下抖音、火山及西瓜三大短视频产品如火如荼,不论是数据量或是糟心的事惹得舆论关注总能冲在前边。前两天,不怀好意的人通过抖音勾搭上10岁未成年女童,污言秽语...

    曾响铃
  • 响铃:三家齐签Merlin,版权合作后在线音乐的内容运营走向何方?

    继网易云音乐、阿里音乐、腾讯音乐陆续完成版权互授协议,在线音乐们终于不用再为了一个版权争得你死我活。除了版权价格降低、用户选择更多之外,比谁膀子粗的时代基本完结...

    曾响铃
  • 探秘|美国大选背后的个人隐私与大数据

    美国总统竞选从来都是一项注重公众参与的活动,了解公众的需求,获得公众的喜好再加以满足,是入主白宫的根本;现在的候选人们早已意识到,数据技术是必要的途径。 20...

    灯塔大数据
  • 响铃:版权合作后,手机真的迎来了只装一个音乐APP的时代?

    先是3月6日阿里音乐与网易云音乐宣布达成音乐版权互相转授权合作,阿里转授滚石、韩国SM、BMG等版权,网易转授天娱、AVEX、丰华、华研等版权。值得的一提的是,...

    曾响铃
  • Netflix大溃败:放弃算法崇拜,向好莱坞低头

    网飞Netflix的“数据分析指导影视创作”模式早已为全球熟知,爆红神剧《纸牌屋》的成功正是得益于此。

    大数据文摘
  • 眺望全真互联时代!TVP音视频技术闭门会闪耀上海

    ? 引言 2021年7月17日,“全真互联网中的声与影” TVP音视频技术闭门会完美收官。TVP技术闭门会,是为TVP打造的专属技术闭门研讨会,旨在提供一个开...

    腾讯云音视频
  • GitHub上15 个优秀开源项目告诉你如何上手数据科学!

    关键时刻,第一时间送达! 作为一名狂热的数据科学爱好者,本文作者整理了 2017 年 Github 上尤为实用的数据科学资源,希望和大家共同学习。 ? 学习资源...

    企鹅号小编
  • Science:从个人口语到社交世界:人类口语的神经处理

    语言感知是人类语言处理复杂性的一个重要方面,同时它也是表达声音形式的主要方式,这里我们所指的语言特指的是以声音形式让我们感知又被我们传递的口语。我们都知道口语对...

    用户1279583
  • 重磅 | 奖金200万,千万数据规模,创新工场搜狗今日头条联合发起迄今国内最大AI挑战赛(附详细赛事说明)

    文/周翔 编辑/鸽子 上月,举办了八届的 ImageNet 挑战赛由创始人之一李飞飞博士正式宣布退出历史舞台。虽然 ImageNet 走了,但是今日下午(8 月...

    AI科技大本营
  • 2015伦敦深度学习峰会笔记:来自DeepMind、Clarifai等大神的分享

    上周,我有机会参加在伦敦举行的第三届深度学习峰会,上两届分别在旧金山和波士顿举行。 深度学习峰会由 RE.WORK主办,汇集了从工业领域到学术领域不同背景的专业...

    CSDN技术头条
  • 上街再也不能偷瞟别人家女朋友啦,新研究建立3D目光估计|一周AI最火学术

    呜啦啦啦啦啦啦啦大家好,拖更的AIScholar Weekly栏目又和大家见面啦!

    大数据文摘

扫码关注云+社区

领取腾讯云代金券