专栏首页智能生信【ICLR 2021】四篇好文简读-专题1

【ICLR 2021】四篇好文简读-专题1

论文题目

Interpretable Sequence Classification Via Prototype Trajectory

论文摘要

这篇文章作者提出了一个新的可解释的循环神经网络(RNN)模型,称为ProtoryNet,其中作者引入了原型轨迹的新概念。受现代语言学中原型理论的启发,ProtoryNet通过为文本序列中的每个句子找到最相似的原型,并将每个句子与原型的接近程度反馈给RNN骨干,从而进行预测。然后,RNN主干捕捉原型的时间模式,并将其称为原型轨迹。原型轨迹能够直观、精细地解释模型如何达到最终的预测,类似于人类分析段落的过程。在多个公共数据集上进行的实验显示,所提出的方法不仅更容易解释,而且比目前最先进的基于原型的方法更准确。此外,作者还报告了一项调查结果,表明人类用户认为ProtoryNet与其他基于原型的方法相比,更加直观和容易理解。

论文链接

https://openreview.net/pdf?id=KwgQn_Aws3_

Github链接

https://github.com/dathong/ProtoryNet

论文题目

Representation Learning for Sequence Data with Deep Autoencoding Predictive Components

论文摘要:这篇文章作者提出了深度自动编码预测成分(DAPC)--一种用于序列数据的自我监督的表征学习方法,这个方法是基于这样的假设:序列数据的有用表征应该在潜空间中表现出简单的结构。作者通过最大限度地估计潜伏特征序列的预测信息来鼓励这种潜伏结构,这是每个时间步骤中过去和未来窗口之间的相互信息。与对比学习常用的互信息下限不同,作者采用的预测信息估计值在高斯假设下是精确的。此外,它可以在没有负采样的情况下进行计算。为了减少强大的编码器所提取的潜在空间的退化性,并保留输入的有用信息,作者用一个具有挑战性的掩蔽重建损失来规范预测信息学习。这个方法可以为预测任务提取预测特征。

论文链接:https://arxiv.org/abs/2010.03135

Github链接:https://github.com/JunwenBai/DAPC

论文题目:

Improving transformation invariance in contrastive representation learning

论文摘要:文章目标是提升对比学习中表征的不变性。虽然现有的对比学习方法已经在一定程度上使得学到表征具有不变性,但这篇文章寻求能显式地强制使编码过程具有不变性的方法。为了实现这一点:(1)作者引入了一个用于训练过程的梯度正则化项,实验表明该正则化项使得学到的表征在下游任务中的表现更好。(2)作者提出了特征平均化方法,该方法通过将不同的变换下的表征进行加权组合,以得到更具有不变性的表征向量。(3)作者提出了一个有着多个下游任务的新数据集Spirograph,在该数据上的实验结果表明作者的方法能够提升表征的不变性。

论文链接:https://arxiv.org/pdf/2010.09515.pdf

Github链接:https://github.com/ae-foster/invclr

论文题目:

What Should Not Be Contrastive in Contrastive Learning

论文摘要:通常的对比学习方法有前置的特征表示不变性假设(例如对颜色的不变性),这种假设往往会对下游任务产生影响。这篇文章提出了LooC(Leave-one-out Contrastive Learning)框架,模型使用了多头神经网络捕获每种数据增广的信息,并且通过将不同的视觉表征映射到分离的嵌入空间中以捕获特征中的可变性和不变性。在实验部分,该框架在不同粒度的和小样本的下游分类任务中取得了比以往的对比学习模型更好的结果。

论文链接:https://arxiv.org/abs/2008.05659


本文分享自微信公众号 - 智能生信(gh_cb6c4859dc2a),作者:智能生信

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-09-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【ACL 2021】四篇好文简读-专题1

    Self-Alignment Pretraining for Biomedical Entity Representations

    智能生信
  • 【AAAI 2021】四篇好文简读-专题1

    Flow-based Generative Models for Learning Manifold to Manifold Mappings

    智能生信
  • 【IJCAI 2021】四篇好文简读-专题1

    Learning Unknown from Correlations: Graph Neural Network for Inter-novel-protein...

    智能生信
  • 【ICCV 2021】四篇好文简读-专题1

    Curious Representation Learning for Embodied Intelligence

    智能生信
  • [Nature Machine Intelligence]四篇好文简读-专题1

    Improved protein structure prediction by deep learning irrespective of co-evolut...

    智能生信
  • [Nature Methods]四篇好文简读-专题1

    SnapHiC: a computational pipeline to identify chromatin loops from single-cell H...

    智能生信
  • 【IJCAI 2021】四篇好文简读-专题2

    Contrastive Losses and Solution Caching for Predict-and-Optimize

    智能生信
  • 【AAAI 2021】四篇好文简读-专题2

    PSSM-Distil: Protein Secondary Structure Prediction (PSSP) on Low-Quality PSSM b...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题1

    Subtype-GAN: a deep learning approach for integrative cancer subtyping of multi-...

    智能生信
  • 【Nature communications】四篇好文简读-专题1

    Structure-based protein function prediction using graph convolutional networks i...

    智能生信
  • 【Genome Research】四篇好文简读-专题1

    Subgenomic RNA identification in SARS-CoV-2 genomic sequencing data 论文摘要:

    智能生信
  • 【Nucleic Acids Research】四篇好文简读-专题1

    Theoretical basis for stabilizing messenger RNA through secondary structure desi...

    智能生信
  • 【Briefings in Bioinformatics】四篇好文简读-专题1

    Deep fusion learning facilitates anatomical therapeutic chemical recognition in ...

    智能生信
  • [AAAI 2021]四篇好文简读-专题4

    Self-Attention Attribution: Interpreting Information Interactions Inside Transfo...

    智能生信
  • [Nature communications]四篇好文简读-专题3

    Genome-wide detection of cytosine methylations in plant from Nanopore data using...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题6

    FraGAT: a fragment-oriented multi-scale graph attention model for molecular prop...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题4

    MultiDTI: drug–target interaction prediction based on multi-modal representation...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题5

    Highly accurate classification of chest radiographic reports using a deep learni...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题2

    Multi-omics data integration by generative adversarial network

    智能生信

扫码关注云+社区

领取腾讯云代金券