【IJCAI 2021】四篇好文简读-专题2
一
论文题目：
Contrastive Losses and Solution Caching for Predict-and-Optimize
论文摘要：
许多决策过程涉及到解决 一个组合优化问题，该问题的输入不确定， 可以从历史数据中估计。最近，这个类别的问题已经通过端到端学习方法成功地解决了，依赖于在每个epoch为每个训练实例解决一个优化问题。在这方面，本文提供两种不同的贡献。首先，基于将非最优解视为负例，使用噪声对比方法来激发一系列替代损失函数。其次，解决了所有预测和优化方法的主要瓶颈，即在训练时频繁重新计算最优解决方案的需求。这是通过求解器不可知的解决方案缓存方案，并通过在解决方案缓存中查找替换优化调用来实现的。该方法形式化地基于可行空间的内近似，并结合缓存查找策略，在训练时间和损失近似的准确性之间提供一个可控的平衡 。本文的经验表明，即使是一个非常缓慢的增长速度，也足以用计算成本的一小部分，达到最先进方法的质量。
论文链接：
https://www.ijcai.org/proceedings/2021/390
代码链接：
https://github.com/CryoCardiogram/ijcai-cache-loss-pno
二
论文题目：
On the Neural Tangent Kernel of Deep Networks with Orthogonal Initialization
论文摘要：
人们普遍认为，正交权重对于加强动态等距和加速训练是至关重要的。线性网络中正交初始化所带来的学习速度的提高已经得到了很好的证明。然而，当非线性网络在满足动态等距条件时也被认为是相同的，但这一论点背后的训练动力学还没有被彻底地探索。在这项工作中，作者研究了超宽网络在一系列架构中的动力学，包括全连接网络(FCNs)和卷积神经网络(CNNs)，这些网络通过神经切线核(NTK)进行正交初始化。通过一系列的命题和引理，作者证明了当网络宽度为无穷大时，两个NTKs是相等的，一个是高斯权值，一个是正交权值。此外，在训练过程中，正交初始化的无限宽网络的NTK理论上应该保持不变。这表明正交初始化不能加速NTK(懒惰训练)训练，与普遍的想法相反。为了探索在什么情况下正交性可以加速训练，作者在NTK制度之外进行了彻底的实证调查。研究发现，当超参数在非线性激活时达到线性状态时，正交初始化可以提高学习速度，且学习速率大或深度大。
论文链接：
https://www.ijcai.org/proceedings/2021/0355.pdf
三
论文题目：
Likelihood-free Out-of-Distribution Detection with Invertible Generative Models 论文摘要：
生成模型的可能性传统上被用作检测非典型(out - distribution, OOD)输入的评分。然而，最近的几项研究发现，即使在计算可能性是可行的可逆生成模型中，这种方法也是极不可靠的。在本文中，作者提出了一个不同的基于生成模型的OOD检测框架，该框架使用生成模型来构建一个新的表示空间，而不是直接使用它来计算典型性分数。这里强调的是得分函数应该可以解释为新空间中输入和训练数据之间的相似性。在实践中，以可逆模型为重点，作者提出基于模型编码器和输入图像的复杂性提取低维特征(统计量)，然后使用一类支持向量机对数据进行评分。与最近提出的生成模型OOD检测方法相反，该方法不需要计算似然值。因此，当使用具有迭代近似似然的可逆模型(如iResNet)时，它的速度要快得多，同时它的性能仍与其他相关方法相竞争。
论文链接：
https://www.ijcai.org/proceedings/2021/0292.pdf
四
论文题目：
Local Representation is Not Enough: Soft Point-wise Transformer for Descriptor and Detector of Local FeaturesInitialization
论文摘要：
局部特征的描述子和检测器已经取得了很大的进展，但仍存在一些挑战性和棘手的局限性，如定位精度不足和非歧视性描述，特别是在重复或空白纹理区域，这些问题尚未得到很好的解决。这些局限性主要体现在粗糙特征表示和有限的接受域上。为了解决这些问题，作者提出了一种新的用于描述符和检测器的软逐点表示Transformer，同时挖掘局部特征的长期内在和跨尺度依赖性。此外，作者的模型利用了基于软点注意的不同Transformer，大大降低了内存和计算复杂度，特别是对于高分辨率的特征图。此外，还构造了多层译码器，以保证高的检测精度和鉴别性描述。大量的实验表明，我们的模型在图像匹配和虚拟定位基准上优于现有的最先进的方法。
论文链接：
https://www.ijcai.org/proceedings/2021/0159.pdf