论文地址: http://arxiv.org/pdf/2010.11882v1.pdf
代码: https://github.com/g-benton/learning-invariances
来源: 纽约大学
论文名称:Learning Invariances in Neural Networks
原文作者:Gregory Benton
内容提要
本文引入了Augerino,这是一个可以与标准模型架构无缝部署的框架,可以单独从训练数据中学习对称性,并提高泛化能力。通过实验我们可以看到Augerino能够恢复ground truth的不变性,包括软不变性,最终发现数据集的可解释表示。Augerino在增强时恢复可解释和准确分布的能力提高了在特定任务的专门基线和基于数据的增强方案上的性能,该方案适用于各种任务,包括分子特性预测、图像分割和分类。
摘要:平移的不变性为卷积神经网络注入了强大的泛化特性。然而,我们通常无法预先知道数据中存在哪些不变性,或者模型在多大程度上应该对给定的对称组保持不变。我们展示了如何通过参数化增强分布和同时优化网络参数和增强参数的训练损失来学习不变性和等方差。Augerino是第一种不需要验证集或特殊损失函数就能从训练数据中学习神经网络对称性的方法。
主要框架及实验结果