专栏首页智能生信【IJCAI 2021】四篇好文简读-专题2

【IJCAI 2021】四篇好文简读-专题2

论文题目:

Contrastive Losses and Solution Caching for Predict-and-Optimize

论文摘要:

许多决策过程涉及到解决 一个组合优化问题,该问题的输入不确定, 可以从历史数据中估计。最近,这个类别的问题已经通过端到端学习方法成功地解决了,依赖于在每个epoch为每个训练实例解决一个优化问题。在这方面,本文提供两种不同的贡献。首先,基于将非最优解视为负例,使用噪声对比方法来激发一系列替代损失函数。其次,解决了所有预测和优化方法的主要瓶颈,即在训练时频繁重新计算最优解决方案的需求。这是通过求解器不可知的解决方案缓存方案,并通过在解决方案缓存中查找替换优化调用来实现的。该方法形式化地基于可行空间的内近似,并结合缓存查找策略,在训练时间和损失近似的准确性之间提供一个可控的平衡 。本文的经验表明,即使是一个非常缓慢的增长速度,也足以用计算成本的一小部分,达到最先进方法的质量。

论文链接:

https://www.ijcai.org/proceedings/2021/390

代码链接:

https://github.com/CryoCardiogram/ijcai-cache-loss-pno

论文题目:

On the Neural Tangent Kernel of Deep Networks with Orthogonal Initialization

论文摘要:

人们普遍认为,正交权重对于加强动态等距和加速训练是至关重要的。线性网络中正交初始化所带来的学习速度的提高已经得到了很好的证明。然而,当非线性网络在满足动态等距条件时也被认为是相同的,但这一论点背后的训练动力学还没有被彻底地探索。在这项工作中,作者研究了超宽网络在一系列架构中的动力学,包括全连接网络(FCNs)和卷积神经网络(CNNs),这些网络通过神经切线核(NTK)进行正交初始化。通过一系列的命题和引理,作者证明了当网络宽度为无穷大时,两个NTKs是相等的,一个是高斯权值,一个是正交权值。此外,在训练过程中,正交初始化的无限宽网络的NTK理论上应该保持不变。这表明正交初始化不能加速NTK(懒惰训练)训练,与普遍的想法相反。为了探索在什么情况下正交性可以加速训练,作者在NTK制度之外进行了彻底的实证调查。研究发现,当超参数在非线性激活时达到线性状态时,正交初始化可以提高学习速度,且学习速率大或深度大。

论文链接:

https://www.ijcai.org/proceedings/2021/0355.pdf

论文题目:

Likelihood-free Out-of-Distribution Detection with Invertible Generative Models 论文摘要:

生成模型的可能性传统上被用作检测非典型(out - distribution, OOD)输入的评分。然而,最近的几项研究发现,即使在计算可能性是可行的可逆生成模型中,这种方法也是极不可靠的。在本文中,作者提出了一个不同的基于生成模型的OOD检测框架,该框架使用生成模型来构建一个新的表示空间,而不是直接使用它来计算典型性分数。这里强调的是得分函数应该可以解释为新空间中输入和训练数据之间的相似性。在实践中,以可逆模型为重点,作者提出基于模型编码器和输入图像的复杂性提取低维特征(统计量),然后使用一类支持向量机对数据进行评分。与最近提出的生成模型OOD检测方法相反,该方法不需要计算似然值。因此,当使用具有迭代近似似然的可逆模型(如iResNet)时,它的速度要快得多,同时它的性能仍与其他相关方法相竞争。

论文链接:

https://www.ijcai.org/proceedings/2021/0292.pdf

论文题目:

Local Representation is Not Enough: Soft Point-wise Transformer for Descriptor and Detector of Local FeaturesInitialization

论文摘要:

局部特征的描述子和检测器已经取得了很大的进展,但仍存在一些挑战性和棘手的局限性,如定位精度不足和非歧视性描述,特别是在重复或空白纹理区域,这些问题尚未得到很好的解决。这些局限性主要体现在粗糙特征表示和有限的接受域上。为了解决这些问题,作者提出了一种新的用于描述符和检测器的软逐点表示Transformer,同时挖掘局部特征的长期内在和跨尺度依赖性。此外,作者的模型利用了基于软点注意的不同Transformer,大大降低了内存和计算复杂度,特别是对于高分辨率的特征图。此外,还构造了多层译码器,以保证高的检测精度和鉴别性描述。大量的实验表明,我们的模型在图像匹配和虚拟定位基准上优于现有的最先进的方法。

论文链接:

https://www.ijcai.org/proceedings/2021/0159.pdf


本文分享自微信公众号 - 智能生信(gh_cb6c4859dc2a),作者:智能生信

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-09-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【IJCAI 2021】四篇好文简读-专题1

    Learning Unknown from Correlations: Graph Neural Network for Inter-novel-protein...

    智能生信
  • 【AAAI 2021】四篇好文简读-专题2

    PSSM-Distil: Protein Secondary Structure Prediction (PSSP) on Low-Quality PSSM b...

    智能生信
  • 【ACL 2021】四篇好文简读-专题1

    Self-Alignment Pretraining for Biomedical Entity Representations

    智能生信
  • 【AAAI 2021】四篇好文简读-专题1

    Flow-based Generative Models for Learning Manifold to Manifold Mappings

    智能生信
  • 【ICLR 2021】四篇好文简读-专题1

    Interpretable Sequence Classification Via Prototype Trajectory

    智能生信
  • 【ICCV 2021】四篇好文简读-专题1

    Curious Representation Learning for Embodied Intelligence

    智能生信
  • 【Bioinformatics】四篇好文简读-专题2

    Multi-omics data integration by generative adversarial network

    智能生信
  • 【Nature communications】四篇好文简读-专题2

    scGNN is a novel graph neural network framework for single-cell RNA-Seq analyses...

    智能生信
  • 【Nucleic Acids Research】四篇好文简读-专题2

    Evidence in disease and non-disease contexts that nonsense mutations cause alter...

    智能生信
  • 【Briefings in Bioinformatics】四篇好文简读-专题2

    Different molecular enumeration inf luences in deep learning: an example using a...

    智能生信
  • [Nature Machine Intelligence]四篇好文简读-专题1

    Improved protein structure prediction by deep learning irrespective of co-evolut...

    智能生信
  • [AAAI 2021]四篇好文简读-专题4

    Self-Attention Attribution: Interpreting Information Interactions Inside Transfo...

    智能生信
  • [Nature Methods]四篇好文简读-专题1

    SnapHiC: a computational pipeline to identify chromatin loops from single-cell H...

    智能生信
  • [Nature communications]四篇好文简读-专题3

    Genome-wide detection of cytosine methylations in plant from Nanopore data using...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题6

    FraGAT: a fragment-oriented multi-scale graph attention model for molecular prop...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题4

    MultiDTI: drug–target interaction prediction based on multi-modal representation...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题5

    Highly accurate classification of chest radiographic reports using a deep learni...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题1

    Subtype-GAN: a deep learning approach for integrative cancer subtyping of multi-...

    智能生信
  • 【Nature communications】四篇好文简读-专题1

    Structure-based protein function prediction using graph convolutional networks i...

    智能生信

扫码关注云+社区

领取腾讯云代金券