佐治亚理工学院和Facebook AI研究人员设计了一种新的Tensor训练方法，以将深度学习推荐模型的大小减小至112倍

佐治亚研究所和Facebook AI研究人员联合进行的一项最新研究为称为TT-Rec（用于DLRM的张量训练）的新方法打开了大门。如果成功采用，此方法将是深度学习领域的一次飞跃，因为它将大大减少深度学习推荐模型（DLRM）的规模，并使部署过程变得不复杂。减小模型尺寸的背后推动力将是用一系列矩阵乘积替换DLRM中的大型嵌入表，该矩阵乘积将通过使用张量列分解来开发。它是一种工具，可以利用低秩分解的一般化来有效处理张量。

DLRM的工作和使用

基于神经网络的个性化和DLRM推荐已成为Netflix，Amazon Prime和YouTube等主要内容平台的必要工具。即使是像Facebook这样的技术巨头，也可以利用这些建议来改善服务质量。这些DLRM通常具有两个主要组件：

多层感知器（MLP）

该组件主要处理一致和连续的特征，例如用户年龄。

嵌入表（EMB）

DLRM的更复杂和更复杂的功能的处理由EMB进行。他们对空间进行编码，并将高维输入转换为密集的矢量表示。

DLRM的内存容量要求

业界DLRM的存储容量正在上升，并且已经从千兆字节过渡到了TB级。技术人员通常由需要大量资源的DLRM组成，他们可以立即完成推荐模型的存储容量。此外DLRM本身在世界范围内也在迅速发展，因此迫切需要开发一种可以适当满足所有需求的模型。该模型需要快速有效地工作。

由于这个原因，乔治亚理工大学和Facebook AI的研究人员开发了一种压缩技术，该技术将使用一系列矩阵乘积，从而将多维数据缩减为小的张量。已经提出的方法将借助计算使用带宽，而不是借助查找表使用内存存储。高速缓存结构也已引入TT-Rec模型中，以充分利用已分配在DLRM中的稀少资源和稀疏资源。这些资源（如果使用得当的话）可以提高深度学习模型的整体准确性。

评估与结果

创建了这种独特的方法后，研究人员随后进行了评估。他们使用对Criteo的Kaggle Terabyte数据集进行操作的MLPerf-DLRM。经过一系列的测试和实验，结果得到了研究人员的青睐。TT-Rec方法将存储容量需求降低了112倍。同时训练时间只需要增加13.9％。通过使用所提出的方法，模型精度也保持不变。

乔治亚学院和Facebook AI研究人员认为，由于训练时间不必增加太多，因此结果令人满意。尽管如此，内存容量的要求还是大大降低了。将来可以使用这种方法来使推荐模型更加连贯和实用。

论文：

https://arxiv.org/pdf/2101.11714.pdf

GitHub：

https://github.com/facebookresearch/FBTT-Embedding