谷歌为离线设备开发AI系统SGNN，短文本分类准确率达到86.7%

编译：chux

出品：ATYUN订阅号

深度神经网络是最先进的机器翻译和目标识别系统的核心。它们有助于将一种语言翻译成另一种语言并从名片中提取地址。问题是，它们经常受到智能手机，可穿戴设备和其他移动设备的硬件限制，特别是在内存和计算方面。

不过，对于高性能的离线算法来说还有希望。在本周于比利时布鲁塞尔举行的自然语言处理经验方法会议上发表的一篇论文中，谷歌研究人员描述了离线的设备上AI系统：自我管理神经网络（SGNN），在特定的对话相关任务中达到最佳的效果。

该团队表示，“在设备上开发和部署深度神经网络模型的主要挑战是：（1）微小的内存占用（2）推理延迟（3）与高性能计算系统（如CPU，GPU）相比较低的计算容量（4）云上的TPU，而SGGN允许我们在设备上以非常快的速度计算传入文本的投影，因为我们不需要存储传入的文本和字嵌入。”

正如该论文的作者所解释的那样，有许多方法可以设计一个轻量级的设备上文本分类模型，比如将模型与图形学习相结合，这就是谷歌智能回复中使用的模型，并自动生成简短的电子邮件回复。但大多数要么不能很好地扩展，要么导致模型极大。

相比之下，SGGN采用了局部敏感散列（LSH）的修改版本，这种技术通过散列或映射输入项来减少数据中的维数，以便类似的项以高概率映射到相同的储存中。顾名思义，它是自我控制的，它可以通过动态地将输入转换为具有投影函数的低维表示，从而学习模型，而无需初始化，加载或存储任何特征。此外，在对数据进行训练时，它学会选择并应用对给定任务更具预测性的特定操作。

团队写道，这减少了数百万个独特单词的输入维度，缩短了固定长度的短序列，并且无需存储文本和单词嵌入（代表单词和短语的向量）。在实验中，与存储要求超过数十万维的字嵌入方法相比，SGGN使用固定的1120维向量，而不管输入数据的词汇表或特征大小。

研究人员使用两个对话行为基准数据集来评估SGGN：交换机对话法案语料库（SWDA），其中包含两个发言人和42个对话；ICSI会议记录器对话法案语料库，一个多方会议的对话语料库。

没有预处理，标记，解析或预训练嵌入，SGGN的表现优于基线AI系统12％至35％。通过SWDA和MRDA数据集，它实现了83.1％的准确率和86.7％的准确度，高于基准（尖端卷积神经网络和递归神经网络），并且日语的准确度达到73％，接近最佳性能系统。

在未来的工作中，研究人员计划调查SGGN在其他自然语言任务中的使用。

“我们的研究还表明，与更复杂的神经网络架构相比，所提出的方法对于这种自然语言任务非常有效，例如深CNN和RNN变体，”研究人员表示，“我们相信压缩技术，如与非线性函数结合的局部敏感投影，可有效捕获对文本分类应用有用的低维语义文本表示。”

论文：aclweb.org/anthology/D18-1105