不出声说话也没用!牛津大学开发出唇语解读智能技术

解读“唇语”一般都是在电视剧里出现的特殊人才所具备的技能,当然读“唇语”也被广泛应用于不便传小纸条的上课聊天以及考试作弊的场景下。不过这项特殊又神秘的技能被牛津大学研究院认为可以利用在人工智能技术上。

众所周知,通过获取大量数据来寻找“共同点”的人工智能技术能够提升音频语言识别,使其达到跟“面对面”对话一样的准确率,为什么它就能不能完成“读唇”的任务呢?

牛津大学人工智能实验室的研究人最新发表的论文中提到,他们使用深度学习技术开发出了一种“读唇”软件,他们的软件名为“LipNet”,它的“表现”要远胜于那些唇语解读者:在某些测试中,LipNet软件能够达到93.4%的准确率,而唇语解读者的准确率只有52.3%。

即便是现在还处在初期阶段,但这款软件运行的速度已经非常快,几乎达到了一种能够“实时”将静音视频转化为文本脚本的处理速度。

研究人员选用了一组数据库,用它对这套系统进行训练和测试。测试中,研究人员收集了来自34名志愿者所录制的短视频。在视频中,志愿者读取的是一些“毫无意义”的句子(比如插图说明),每个短视频只有三秒长,并且每个句子都采用非常简单的句式结构:命令动词+颜色+介词+字母+数字+副词,比如“set blue by A four please”或者“place red at C zero again”。

事实上,这些句子有它的局限性,比如,它们仅仅使用了四个不同指令和颜色词语,这也是引来了该领域其他研究人员的质疑,他们认为这份研究报告水分太大,让人难以信服。

不过,情况并非如此。在接受采访时,这份报告作者,同时也是两名研究人员Yannis Assael和Brendan Shillingford承认,他们的研究受限于单词和语法的限制。不过,这是由于可使用的数据有限,这个数据库非常小,但测试结果也说明了,它们能够在更大的数据库中也同样表现出色。”

Assael 和 Shillingford 都强调,他们的研究成果应用在监控领域,道理很简单,“读唇术”要求你需要注视目标人的嘴,这也就意味着,摄像头必须摆好到最佳位置来获取好的结果。“从技术层面来看,想要在监控领域应用读唇术,这是非常、非常困难的。”Assael表示。

不过,这两名研究人员表示,读唇人工智能能够帮助到那些听力受损的人群,尤其是在一个比较吵闹的环境(也就是计算机很难分离出噪音的环境)。

比如,这类人群可以佩戴内置摄像头的眼镜,他们在参加聚会的时候可以清楚地拍摄出目标人物说话时嘴唇动作,然后使用这款软件来实时将嘴唇“语言”翻译成文本,然后在将其语音传输到佩戴者耳朵中。

“只要你有语音识别和摄像头,我们就可以提升它。”Assael表示。他也提及到,苹果Siri或者Google Now语音助手或将能够应用他们的软件。

未来,或许我们就不敢对着自己的电脑讲话了,原因很简单,它们可能会读懂我们说得内容。

原文发布于微信公众号 - BestSDK(bestsdk)

原文发表时间:2016-11-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

亚马逊为开发者带来249美元的学习工具:DeepLens深度学习相机

亚马逊的云计算子公司亚马逊网络服务(AWS)终于为美国开发者推出了DeepLens深度学习相机。

13230
来自专栏ThoughtWorks

数据质量管理的一些思考

在近期的项目当中,我们为客户落地实施了数据资产平台。随后,在数据平台中接入了客户子公司的一个业务系统的明细数据。客户希望在我们的数据平台上通过数据探索和数据分析...

46340
来自专栏超智能体

“先把书读厚,再把书读薄”到底什么意思

79040
来自专栏AI研习社

百度IDL最新成果:从自然语言入手,教AI智能体像人类一样学习

尽管人工智能取得了巨大的进步,但在许多方面仍然存在局限。例如,在电脑游戏中,如果AI智能体未预先编程游戏规则,则必须尝试数百万次才能确定正确的选择。人类可以在更...

31760
来自专栏华章科技

业余时间学数据分析,如何快速上手

广泛被应用的数据分析:谷歌的数据分析可以预测一个地区即将爆发的流感,从而进行针对性的预防;淘宝可以根据你浏览和消费的数据进行分析,为你精准推荐商品;口碑极好的网...

15640
来自专栏ATYUN订阅号

MIT团队开发用脑电波和手势控制机器人的系统

让机器人做事并不容易,通常,科学家必须明确地编程或让它们了解人类如何通过语言进行交流。

11730
来自专栏专知

【前沿】人工智能系统的四大趋势与九大挑战,美国Berkeley14位重量级学者(包含机器学习泰斗Jordan)最新观点

【导读】最近,加州大学伯克利分校大学的大牛们针对目前AI的火爆形势,又总结了一篇《A Berkeley View of Systems Challenges f...

1.2K60
来自专栏机器之心

观点 | 除了学位证书,如何证明自己的深度学习实力?

选自fast.ai 作者:Rachel Thomas 机器之心编译 参与:蒋思源、晏奇 不是研究生,不是相关专业的我们又该怎样证明自己的深度学习技能?也许很多读...

31960
来自专栏华章科技

分布式实时处理系统浪潮——浅析“深度学习”看未来发展

Autodesk资深系统研发工程师,从事平台架构方面的研发工作。曾在思科系统(中国)研发中心云产品研发部工作多年,全程参与了海量数据实时处理、分析系统的构建与实...

8420
来自专栏SDNLAB

应用驱动网络(ADN)开启用户体验新时代

未来网络的核心挑战是如何解决网络架构制约商业模型创新的问题。 运营商的收益依赖于用户规模,用户增长面临瓶颈。互联网最初架构的思想就是为了流量而建网,并不考虑不...

42090

扫码关注云+社区

领取腾讯云代金券