图插值激活提高数据高效深度学习的自然精度和鲁棒精度

原文标题：Graph Interpolating Activation Improves Both Natural and Robust Accuracies in Data-Efficient Deep Learning

摘要：提高深度神经网络(DNNs)的准确性和鲁棒性，并使其适应较小的训练数据，是深度学习研究的主要任务。本文用一个基于拉普拉斯图的高维插值函数代替DNNS的输出激活函数(典型的数据无关的Softmax函数)，该函数在连续极限下收敛于高维流形上的Laplace-Beltrami方程的解。此外，我们还提出了这种新架构的端到端训练和测试算法.该DNN融合了深度学习和流形学习的优点。与传统的以Softmax函数作为输出激活的DNN相比，该框架具有以下主要优点：第一，它更适用于不使用大量训练数据而训练高容量DNN的数据高效学习。第二，它显着地提高了清洁图像的自然准确性和对抗性图像的鲁棒准确性，这两种图像都是由白盒和黑盒对抗性攻击构建的。第三，对于可再现性，它是半监督学习的自然选择。

地址： https://arxiv.org/abs/1907.06800

作者： Bao Wang, Stanley J. Osher