亚马逊机器学习团队开发可离线工作的复杂语音识别模型

编译:chux

出品:ATYUN订阅号

世界上最受欢迎的虚拟助手有什么共同之处?它们在云中执行大部分语音识别,他们的自然语言模型利用功能强大的服务器,具有几乎无限的处理能力。它在很大程度上是可以接受的。通常,处理在几毫秒内完成,但对于没有互联网连接的用户来说是一个明显的问题。

幸运的是,亚马逊的Alexa机器学习团队最近在将语音识别模型脱机方面取得了进展。他们开发了导航,温度控制和音乐播放算法,可以在设备上离线执行。

他们的研究论文“Statistical Model Compression for Small-Footprint Natural Language Understanding”将在今年在印度海德拉巴举行的Interspeech机器学习会议上展示。

这并不容易。正如研究人员解释的那样,自然语言处理模型往往具有显着的记忆足迹。扩展Alexa功能的第三方应用程序是按需加载的,将它们存储在内存中会显着增加语音识别的延迟。

“Alexa的自然语言理解系统......使用几种不同类型的机器学习(ML)模型,但它们都有一些共同的特征,”主要作者Grant Strimel表示,“一个是他们学习从输入话语中提取'特征',或具有特定预测价值的文本串......另一个共同特征是每个特征都有一组相关的'权重',它决定了它应该扮演多大的角色在不同类型的计算中。需要为数百万个功能存储多个权重才能使ML模型具有内存密集性。”

最终,他们选择了一个由两部分组成的解决方案:参数量化和完美特征散列法。

量化是将连续值范围转换为有限范围的离散值的过程,是算法模型压缩中的传统技术。在这里,研究人员将权重分为256个区间,这使得它们能够用单个字节的数据来表示模型中的每个权重。他们将低权重舍入为零,以便它们可以被丢弃。

第二种技术利用了散列函数,正如Strimel写的那样,“接受任意输入并将它们加扰......以这样的方式使得输出(1)具有固定的大小,并且(2)与输入没有可预测的关系。例如,如果输出大小是16位,65536个可能的散列值,则值1可能映射到“Weezer”,而值50可能对应于“Elton John”。

用散列函数的问题是,他们往往会导致冲突,或相关的值(例如,“Hank Williams, Jr.”和“Hank Williams”)不映射到散列值列表的相同位置。为了区分值的权重,需要的元数据通常需要比它标记的数据更多的内存空间。

为了解决冲突,该团队使用了一种称为完美散列的技术,该技术将特定数量的数据项映射到相同数量的内存插槽。

“系统可以简单地散列一串字符并提取相应的权重而不需要元数据,”Strimel写道。

最后,该团队表示,与在线语音识别模型相比,量化和散列函数使内存使用量减少了14倍。令人印象深刻的是,它并没有影响准确性,离线算法“基本上与基线模型一样好”,误差增加不到1%。

团队写道:“我们观察到这些方法在模型评估时间和预测性能方面做出了最小的牺牲。我们的目标是减少内存占用,以支持本地语音助理,并减少云中自然语言处理模型的延迟。”

论文:arxiv.org/pdf/1807.07520.pdf

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-08-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【重磅】Google 分布式 TensorFlow,像 Android 一样带来 AI 复兴?

今天,Google 发布了分布式 TensorFlow。Google 的博文介绍了 TensorFlow 在图像分类的任务中,100 个 GPUs 和不到 65...

4014
来自专栏AI科技评论

谷歌机器学习白皮书全解析 43条黄金法则(一)

编者按:此文由AI科技评论独家编译,未经许可拒绝转载。此白皮书为谷歌总结的机器学习(ML)最优实践方法,浓缩了其多年技术积累与经验,尤其是 Youtube、Go...

4526
来自专栏数说工作室

手机里跑个 AI 模型 | 谷歌 Federated Learning 联盟学习

各位数据大咖,还记得自己的跑模型的心路历程么?我想大家都在经历着下面的一个或多个阶段: 论文答辩前夕,把自己敲进去的三千多条数据放进SAS中,哗的一下模型出来了...

4796
来自专栏ATYUN订阅号

深度学习框架入门选择,Keras还是PyTorch?

你是否希望能够学习深度学习?你是想将其应用于商业,以此为基础建立你的下一个项目,还是仅仅是增加自己的职场价值?无论如何,选择合适的深度学习框架进行学习都是关键的...

1265
来自专栏IT派

Keras vs PyTorch:谁是「第一」深度学习框架?

值得一提的是,尽管在 4 月底 PyTorch 在 0.4 版本中已经加入了对于 Windows 的支持,但其对比 Keras 与 TensorFlow 在 W...

1282
来自专栏Pulsar-V

SLAM初探(三)

PCL(Point cloud library) Ubuntu Linux 16 系统之所以会用Linux,很大的原因是应为SLAM在嵌入式平台上面...

3535
来自专栏技术翻译

8个深度学习框架

随着越来越多的企业希望扩大其运营规模,它们已成为接受机器学习和预测分析的必要条件。人工智能与正确的深度学习框架相结合,真正放大了企业在其领域内可以实现和获得的整...

2093
来自专栏新智元

9大Python深度学习库,选出最适合你的那个

如果你对深度学习和卷积神经网络感兴趣,但是并不知道从哪里开始,也不知道使用哪种库,那么这里就为你提供了许多帮助。 在这篇文章里,我详细解读了9个我最喜欢的Pyt...

3844
来自专栏新智元

陈天奇团队新研究:自动优化深度学习工作负载

25610
来自专栏用户画像

浅析UGC视频去重算法

在以UGC(User Generated Content 用户原创内容)业务为主的视频网站中,每天都有大量的视频被上传。用户上传的视频有数量大、重复视频多的特点...

2804

扫码关注云+社区

领取腾讯云代金券