【IJCAI】四篇好文简读-专题6

一

论文题目：

On the Neural Tangent Kernel of Deep Networks with Orthogonal Initialization

论文摘要：

人们普遍认为，正交权重对于加强动态等距和加速训练是至关重要的。线性网络中正交初始化所带来的学习速度的提高已经得到了很好的证明。然而，当非线性网络在满足动态等距条件时也被认为是相同的，但这一论点背后的训练动力学还没有被彻底地探索。在这项工作中，作者研究了超宽网络在一系列架构中的动力学，包括全连接网络(FCNs)和卷积神经网络(CNNs)，这些网络通过神经切线核(NTK)进行正交初始化。通过一系列的命题和引理，作者证明了当网络宽度为无穷大时，两个NTKs是相等的，一个是高斯权值，一个是正交权值。此外，在训练过程中，正交初始化的无限宽网络的NTK理论上应该保持不变。这表明正交初始化不能加速NTK(懒惰训练)训练，与普遍的想法相反。为了探索在什么情况下正交性可以加速训练，作者在NTK制度之外进行了彻底的实证调查。研究发现，当超参数在非线性激活时达到线性状态时，正交初始化可以提高学习速度，且学习速率大或深度大。

论文链接：

https://www.ijcai.org/proceedings/2021/0355.pdf

二

论文题目：

Likelihood-free Out-of-Distribution Detection with Invertible Generative Models 论文摘要：

生成模型的可能性传统上被用作检测非典型(out - distribution, OOD)输入的评分。然而，最近的几项研究发现，即使在计算可能性是可行的可逆生成模型中，这种方法也是极不可靠的。在本文中，作者提出了一个不同的基于生成模型的OOD检测框架，该框架使用生成模型来构建一个新的表示空间，而不是直接使用它来计算典型性分数。这里强调的是得分函数应该可以解释为新空间中输入和训练数据之间的相似性。在实践中，以可逆模型为重点，作者提出基于模型编码器和输入图像的复杂性提取低维特征(统计量)，然后使用一类支持向量机对数据进行评分。与最近提出的生成模型OOD检测方法相反，该方法不需要计算似然值。因此，当使用具有迭代近似似然的可逆模型(如iResNet)时，它的速度要快得多，同时它的性能仍与其他相关方法相竞争。

论文链接：

https://www.ijcai.org/proceedings/2021/0292.pdf

三

论文题目：

Local Representation is Not Enough: Soft Point-wise Transformer for Descriptor and Detector of Local FeaturesInitialization

论文摘要：

局部特征的描述子和检测器已经取得了很大的进展，但仍存在一些挑战性和棘手的局限性，如定位精度不足和非歧视性描述，特别是在重复或空白纹理区域，这些问题尚未得到很好的解决。这些局限性主要体现在粗糙特征表示和有限的接受域上。为了解决这些问题，作者提出了一种新的用于描述符和检测器的软逐点表示Transformer，同时挖掘局部特征的长期内在和跨尺度依赖性。此外，作者的模型利用了基于软点注意的不同Transformer，大大降低了内存和计算复杂度，特别是对于高分辨率的特征图。此外，还构造了多层译码器，以保证高的检测精度和鉴别性描述。大量的实验表明，我们的模型在图像匹配和虚拟定位基准上优于现有的最先进的方法。

论文链接：

https://www.ijcai.org/proceedings/2021/0159.pdf

四

论文题目：

The Surprising Power of Graph Neural Networks with Random Node Initialization 论文摘要：

图神经网络是对关系数据进行表示学习的有效模型。然而，标准GNN的表达能力是有限的，因为它们不能区分超出Weisfeiler-Leman图同构启发式能力的图。为了打破这种表达障碍，GNN在文章中被增强了随机节点初始化(RNI)，其思想是训练和运行具有随机初始节点特征的模型。在本文中，作者用RNI分析了GNN的表达能力，并证明了这些模型是通用的，这是第一次在不依赖于高阶计算特性的GNN中得到这样的结果。这一普适性结果即使在初始节点特征部分随机的情况下也成立，并且保留了GNN在期望中的不变性。然后基于精心构造的数据集，实证分析了RNI对GNN的影响。作者的实验结果支持了RNI的GNN优于标准GNN的性能。

论文链接：

https://www.ijcai.org/proceedings/2021/0291.pdf