专栏首页智能生信【ICCV 2021】四篇好文简读-专题1

【ICCV 2021】四篇好文简读-专题1

论文题目:

Curious Representation Learning for Embodied Intelligence

论文摘要:

这篇文章将强化学习和自监督表示学习结合起来,作者提出了CRL框架(curious representation learning),能够同时学习策略和视觉表征。该框架的思想类似于GAN,通过最大化表征学习器的误差以激励策略的explore,同时explore所带来的更多更复杂的场景更能促进表征学习器的学习。实验结果表明,该模型学到的表征在下游任务中的表现比在ImageNet上的预训练模型表现更好。

论文链接:

https://arxiv.org/pdf/2105.01060.pdf

Github链接:

https://yilundu.github.io/crl/

论文题目:

Rethinking and Improving Relative Position Encoding for Vision Transformer

论文摘要:

这是一篇改善ViT中相对位置编码的论文。针对高分辨率图像,作者首先引入了一种减少相对位置编码计算量的方法,之后提出了适用于2D图像的新的相对位置编码方法,iRPE(image RPE)。这种方法引入了双向的相对距离和self-attention中的query与相对位置嵌入之间的交互关系。iRPE模块即插即用,可以很容易整合到transformer中。在ImageNet和COCO数据上的实验结果表明,不需要额外调节超参数就能分别获得1.5%和1.3%的提升。

论文链接:

https://arxiv.org/abs/2107.14222

Github链接:

https://github.com/microsoft/Cream/tree/main/iRPE

论文题目:

GLiT: Neural Architecture Search for Global and Local Image Transformer

论文摘要:

这是第一个利用NAS寻找一个更好的ViT架构的文章。作者提出了Global-Local transformer并利用NAS搜索其最优架构。主要贡献有2点(1)为了减少计算量并提高搜索效率,作者提出了locality模块。(2)基于演化算法,作者提出了分层NAS搜索策略,该策略可以在巨大的搜索空间中寻找更有效的ViT架构。在ImageNet数据集上的大量实验结果表明和ResNet family相比,作者的方法可以找到更具有判别性的transformer变体。

论文链接:

https://arxiv.org/pdf/2107.02960.pdf

Github链接:

https://github.com/bychen515/GLiT

论文题目:

BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search

论文摘要:

这篇文章研究利用NAS在混合空间(CNN-Transformer)上搜索网络架构。作者提出了Block-wisely Self-supervised Neural Architecture Search(BossNAS),这是一种无监督的NAS方法,解决了之前的方法中由巨大的权值共享空间和有偏的监督所带来的架构的不精确排序问题。作者提出了HyTra搜索空间,这是一种混合的CNN-transformer搜索空间,之后将搜索空间用不同的block来表示,然后利用一种新的自监督学习范式(ensemble bootstrapping)在搜索之前分别训练各个块,之后再将其视为一个整体进行搜索。在ImageNet上的实验结果表明,作者提出的BossNet-T模型获得了82.5%的准确率,比同等计算量的EfficientNet高2.4%。此外,作者的方法在CIFAR-100数据集上能够获得更高的Spearman相关系数,获得了SOTA的结果。

论文链接:

https://arxiv.org/pdf/2103.12424.pdf

Github链接:

https://github.com/changlin31/BossNAS

本文分享自微信公众号 - 智能生信(gh_cb6c4859dc2a),作者:智能生信

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-09-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【ACL 2021】四篇好文简读-专题1

    Self-Alignment Pretraining for Biomedical Entity Representations

    智能生信
  • 【AAAI 2021】四篇好文简读-专题1

    Flow-based Generative Models for Learning Manifold to Manifold Mappings

    智能生信
  • 【IJCAI 2021】四篇好文简读-专题1

    Learning Unknown from Correlations: Graph Neural Network for Inter-novel-protein...

    智能生信
  • 【ICLR 2021】四篇好文简读-专题1

    Interpretable Sequence Classification Via Prototype Trajectory

    智能生信
  • [Nature Machine Intelligence]四篇好文简读-专题1

    Improved protein structure prediction by deep learning irrespective of co-evolut...

    智能生信
  • [Nature Methods]四篇好文简读-专题1

    SnapHiC: a computational pipeline to identify chromatin loops from single-cell H...

    智能生信
  • 【IJCAI 2021】四篇好文简读-专题2

    Contrastive Losses and Solution Caching for Predict-and-Optimize

    智能生信
  • 【AAAI 2021】四篇好文简读-专题2

    PSSM-Distil: Protein Secondary Structure Prediction (PSSP) on Low-Quality PSSM b...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题1

    Subtype-GAN: a deep learning approach for integrative cancer subtyping of multi-...

    智能生信
  • 【Nature communications】四篇好文简读-专题1

    Structure-based protein function prediction using graph convolutional networks i...

    智能生信
  • 【Genome Research】四篇好文简读-专题1

    Subgenomic RNA identification in SARS-CoV-2 genomic sequencing data 论文摘要:

    智能生信
  • 【Nucleic Acids Research】四篇好文简读-专题1

    Theoretical basis for stabilizing messenger RNA through secondary structure desi...

    智能生信
  • 【Briefings in Bioinformatics】四篇好文简读-专题1

    Deep fusion learning facilitates anatomical therapeutic chemical recognition in ...

    智能生信
  • [AAAI 2021]四篇好文简读-专题4

    Self-Attention Attribution: Interpreting Information Interactions Inside Transfo...

    智能生信
  • [Nature communications]四篇好文简读-专题3

    Genome-wide detection of cytosine methylations in plant from Nanopore data using...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题6

    FraGAT: a fragment-oriented multi-scale graph attention model for molecular prop...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题4

    MultiDTI: drug–target interaction prediction based on multi-modal representation...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题5

    Highly accurate classification of chest radiographic reports using a deep learni...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题2

    Multi-omics data integration by generative adversarial network

    智能生信

扫码关注云+社区

领取腾讯云代金券