专栏首页arxiv.org翻译专栏人类对音频深度伪造的感知

人类对音频深度伪造的感知

最近出现的深度仿冒,即计算机仿真的多媒体仿冒,将检测篡改和生成内容带到了前沿。虽然已经提出了许多用于深度造假检测的机器学习模型,但对人类检测能力的探索仍然少得多。这一点特别重要,因为人类的感知不同于机器的感知,深度伪造通常是为了欺骗人类而设计的。到目前为止,这个问题只在图像和视频领域得到了解决。为了比较人类和机器检测深度伪造音频的能力,我们进行了一项在线游戏化实验,要求用户从欺骗音频中辨别真实音频样本,这些音频样本是用各种算法生成的。200名用户通过人工智能(AI)算法参与了8967轮比赛,该算法经过音频深度假检测训练。通过收集到的数据,我们发现机器在检测音频深度伪造方面通常比人类做得好,但对于某种特定的攻击类型,情况正好相反,人类仍然更准确。此外,我们发现,平均而言,年轻的参与者比年长的参与者更擅长检测深度音频造假,而it专业人士并不比外行有优势。我们认为将人机知识结合起来是提高音频深度虚假检测的重要方法。

原文标题:Human Perception of Audio Deepfakes

The recent emergence of deepfakes, computerized realistic multimedia fakes, brought the detection of manipulated and generated content to the forefront. While many machine learning models for deepfakes detection have been proposed, the human detection capabilities have remained far less explored. This is of special importance as human perception differs from machine perception and deepfakes are generally designed to fool the human. So far, this issue has only been addressed in the area of images and video. To compare the ability of humans and machines in detecting audio deepfakes, we conducted an online gamified experiment in which we asked users to discern bonda-fide audio samples from spoofed audio, generated with a variety of algorithms. 200 users competed for 8967 game rounds with an artificial intelligence (AI) algorithm trained for audio deepfake detection. With the collected data we found that the machine generally outperforms the humans in detecting audio deepfakes, but that the converse holds for a certain attack type, for which humans are still more accurate. Furthermore, we found that younger participants are on average better at detecting audio deepfakes than older participants, while IT-professionals hold no advantage over laymen. We conclude that it is important to combine human and machine knowledge in order to improve audio deepfake detection.

原文链接:https://arxiv.org/pdf/2107.09667.pdf

原文作者:Nicolas M. Muller , Karla Markert, Konstantin Bottinger

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 美国或将限制AI等14类新技术出口,有意针对中国

    11 月 19 日,根据 2018 年国会通过的《出口管制改革法案(Export Control Reform Act)》要求,美国商务部工业安全署(Depar...

    AI科技大本营
  • 短视频造假术,你值得拥有

    从古至今,“欺骗”和“造假”这两个词可谓是贯穿了人类的历史。到了现代社会,面对着互联网上那些似是而非的庞杂信息,“有图有真相”开始成为网友们的诉求。

    用户2908108
  • 新研究训练小老鼠充当分类器,识别Deepfake假声音,比计算机更靠谱

    人们一般都认为狗是自己最好的朋友。然而,当要分辨一段录音的真假时,小老鼠才是我们的好帮手。

    大数据文摘
  • “一键脱衣”,又卷土重来了!

    不知道大家还记得 “一键脱衣 AI” DeepNude 和 “一键换脸”的 Deepfake吗?

    开发者技术前线
  • 用技术对抗技术,腾讯首次公开AI攻击技术和测试研究框架

    随着AI技术的发展,越来越多的AI技术应用进入了我们的生活,而人脸识别也成为了最常见的技术应用之一,住酒店、坐飞机高铁、使用政务便民服务等场景中,都可以见到人...

    云鼎实验室
  • 哈佛大学报告:人工智能与国家安全(四)AI变革潜力之信息优势

    应美国情报高级研究计划局(IARPA)的要求,哈佛大学肯尼迪政治学院贝尔弗科学与国际事务中心与2017年7月发布《人工智能与国家安全》报告,分析人工智能(AI)...

    企鹅号小编
  • 学术资讯 | 关于“深度合成”技术的十个误解 (内含完整报告)

    随着人工智能时代的到来,下一代媒体将由人工智能驱动,人工智能可能给数字内容领域带来重塑。其中,可以实现换脸、人脸合成、语音合成、视频生成甚至数字虚拟人等诸多应用...

    优图实验室
  • 小心!你的脸正在成为色情片主角……

    网络上曾出现过这样的视频:一名女子穿着粉色肩膊上衣,坐在床上,露出令人信服的微笑。

    AI科技大本营
  • AI换脸一时爽,侵权违法太酸爽:民法典新草案有规定,小心赔到家底空

    在周六全国人大常委会审议的《民法典人格权编(草案)》里,正式加了一条:任何组织和个人不得以利用信息技术手段伪造的方式侵害他人的肖像权。

    量子位
  • 防止被AI欺骗,是如何成为一门产业的?

    科学技术是把双刃剑,在为我们生活带来便利的同时,也在引发一系列的社会问题,比如当前比较热门的AI人脸识别诈骗、声纹识别欺骗等。

    用户2908108
  • 音视频技术开发周刊(第128期)

    WebRTC Native 代码里面有很多值得学习的宝藏,其中一个就是 WebRTC 的 NetEQ 模块。根据 WebRTC 术语表 对 NetEQ 的解释:

    LiveVideoStack
  • 附带深度语音伪造检测的语音平台

    人工智能与机器学习是合成语音的强大工具。无数研究表明,在最先进的模型中,只需几秒钟就可以精确地模仿受试者的声音韵律和语调。例如,百度最新的深度语音服务可以用3....

    AiTechYun
  • 腾讯警告:你的声音正在被AI「偷走」

    近日,腾讯朱雀实验室受邀参加全球顶级信息安全峰会 CanSecWest 2021,并进行了题为《The Risk of AI Abuse: Be Careful...

    机器之心
  • 「蚂蚁呀嘿」克星来了!中科院23岁博士生开发「听音识人」,准确率近90%

    看脸和声音是否匹配,这种黑科技如今走向了现实。中科院计算所23岁的博士生温佩松主导开发出一种「听音识人」的 AI 技术,只需1秒就能将声音和正确人脸进行匹配,准...

    深度学习技术前沿公众号博主
  • 响铃:垂直音乐领域、打通产业化道路,短视频下半场的机会?

    正如电商、社交等领域一样,垂直化成为诸多短视频新晋玩家的入局方式,反过来或也成为短视频行业的破局之道,而与“视觉”有着天然联系音乐垂直领域首当其冲。

    曾响铃
  • AI换脸无法识别?这里有个方法

    现在,操纵视觉内容已经很普遍,也是数字社会中最重要的话题之一。比如,DeepFakes 展示了如何使用计算机图形学和视觉技术进行视频换脸,进而破坏别人的声誉。人...

    机器之心
  • 2020年要过去了,这些新技术带来的问题还在

    2020 年,尽管面临疫情带来经济与社会层面的不确定性,人工智能技术仍在加速发展。今年 Gartner 发布的 AI 技术成熟度曲线里增加了包括生成型 AI、复...

    机器之心
  • 比赛 | 清华-得意团队获音频情感识别竞赛冠军

    清华大学-得意音通声纹处理联合实验室情感计算团队在多模态情感识别竞赛上夺得音频情感识别子任务单项第一的优异成绩。

    AI科技评论
  • 二等奖 DeepFake 假脸挑战赛 项目记录

    DeepFake技术是可以生成换脸的视频。这些内容生成和修改的技术可能会影响公共话语的质量或者侵犯他人的权力,尤其是考虑到这种伪造的视频可能被而已用来误导、操纵...

    机器学习炼丹术

扫码关注云+社区

领取腾讯云代金券