专栏首页智能生信【AAAI 2021】四篇好文简读-专题2

【AAAI 2021】四篇好文简读-专题2

论文题目

PSSM-Distil: Protein Secondary Structure Prediction (PSSP) on Low-Quality PSSM by Knowledge Distillation with Contrastive Learning

论文摘要

蛋白质二级结构预测(PSSP)是计算生物学的一项重要任务。为了实现准确的PSSP,许多特征工程使用多序列比对(MSA)进行位置特异性评分矩阵(PSSM)提取。然而,由于序列同源性差,而只能获得低质量的PSSM时,之前的PSSP准确率(仅65%左右)远远不能满足后续任务的实际使用。在本文中,作者提出了一个新的PSSM-Distil框架,用于低质量的PSSM上的PSSP,它不仅增强了低层次的PSSM特征,而且还对齐了高层次的特征分布。在实践中,PSSM-Distil首先利用具有高质量PSSM的蛋白质,以全监督的方式实现PSSP的教师网络。在教师网络的指导下,低质量的PSSM和相应的低分辨能力的学生网络通过EnhanceNet的特征增强和对比学习的知识提炼的分布调整得到有效解决。此外,PSSM-Distil支持来自预训练的蛋白质序列语言BERT模型的输入,以提供辅助信息,这是为了解决极低质量的PSSM情况,即没有同源序列。

论文连接

https://ojs.aaai.org/index.php/AAAI/article/view/16141/15948

Github链接

https://github.com/qinwang-ai/PSSM-Distil

论文题目

MolGrow: A Graph Normalizing Flow for Hierarchical Molecular Generation

论文摘要

作者提出了一个生成分子图的层次归一化流模型。该模型通过递归地将每个节点分割为两个节点,从一个单节点图中生成新的分子结构。所有的操作都是可逆的,可作为即插即用模块使用。模型将分子结构映射到一个固定大小的层次流形上,流形的顶层定义了全局结构,而底层则影响了局部特征。潜在代码的层次性质可以使得结果图中发生精确的变化:顶层的扰动会导致全局结构的变化,而随后层次的扰动会轻微地改变产生的分子。该模型在分布学习任务上优于现有的生成图模型。作者还展示了使用模型的潜在代码对分子的化学性质全局和约束优化的成功实验。

论文链接

https://ojs.aaai.org/index.php/AAAI/article/view/17001

论文题目:

Accelerating Continuous Normalizing Flow with Trajectory Polynomial Regularization

论文摘要:

在本文中,作者提出了一种有效加速已被证明是变分推理和密度估计等任务的有力工具的连续归一化流(CNF)计算的方法。CNF的训练时间成本可能非常高,因为求解相应的常微分方程(ODE)所需的函数求值数量(NFE)非常大。作者认为高NFE是由求解ODEs的大的截断误差造成的。为了解决这个问题,作者建议添加一个正则化的方法。正则化惩罚了ODE的轨迹与其拟合多项式回归之间的差异。ODE的轨迹将近似于一个多项式函数,因此截断误差将较小。此外,作者提供了两个证明,证明附加的正则化不会损害训练质量。实验结果表明,该方法在密度估计任务下的NFE值可降低42.3%~71.3%,在变分自动编码器上的NFE降低了19.3%-32.1%,而测试损失不受影响。

论文链接:

https://ojs.aaai.org/index.php/AAAI/article/view/16956

代码链接:

https://github.com/hanhsienhuang/CNF-TPR

论文题目:

OpEvo: An Evolutionary Method for Tensor Operator Optimization

论文摘要:

深度神经网络的训练和推理效率高度依赖于张量算子在硬件平台上的性能。手动优化张量算子在支持新的操作符或硬件平台方面存在局限性。因此,自动优化张量算子的设备代码配置越来越有吸引力。然而,由于组合搜索空间的存在,目前的张量算子的优化方法采集样本效率通常较差。在这项工作中,作者提出了一种新的进化方法,OpEvo,它通过引入基于q-随机游走的拓扑感知突变操作,利用搜索空间上的拓扑结构,有效地探索了张量算子的搜索空间。作者的综合实验结果表明,与最先进的(SOTA)方法相比,OpEvo可以在固定试验次数和壁钟时间上找到方差最低和代价最少的最佳配置。

论文链接:

https://ojs.aaai.org/index.php/AAAI/article/view/17462

代码链接:

https://github.com/microsoft/nni/


欢迎关注公众号,获取更多论文解读

转载或合作请联系邮箱 intbioinfo@163.com

本文分享自微信公众号 - 智能生信(gh_cb6c4859dc2a),作者:智能生信

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-09-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【AAAI 2021】四篇好文简读-专题1

    Flow-based Generative Models for Learning Manifold to Manifold Mappings

    智能生信
  • 【IJCAI 2021】四篇好文简读-专题2

    Contrastive Losses and Solution Caching for Predict-and-Optimize

    智能生信
  • 【ACL 2021】四篇好文简读-专题1

    Self-Alignment Pretraining for Biomedical Entity Representations

    智能生信
  • 【IJCAI 2021】四篇好文简读-专题1

    Learning Unknown from Correlations: Graph Neural Network for Inter-novel-protein...

    智能生信
  • 【ICLR 2021】四篇好文简读-专题1

    Interpretable Sequence Classification Via Prototype Trajectory

    智能生信
  • 【ICCV 2021】四篇好文简读-专题1

    Curious Representation Learning for Embodied Intelligence

    智能生信
  • 【Bioinformatics】四篇好文简读-专题2

    Multi-omics data integration by generative adversarial network

    智能生信
  • 【Nature communications】四篇好文简读-专题2

    scGNN is a novel graph neural network framework for single-cell RNA-Seq analyses...

    智能生信
  • 【Nucleic Acids Research】四篇好文简读-专题2

    Evidence in disease and non-disease contexts that nonsense mutations cause alter...

    智能生信
  • 【Briefings in Bioinformatics】四篇好文简读-专题2

    Different molecular enumeration inf luences in deep learning: an example using a...

    智能生信
  • [Nature Machine Intelligence]四篇好文简读-专题1

    Improved protein structure prediction by deep learning irrespective of co-evolut...

    智能生信
  • [AAAI 2021]四篇好文简读-专题4

    Self-Attention Attribution: Interpreting Information Interactions Inside Transfo...

    智能生信
  • [Nature Methods]四篇好文简读-专题1

    SnapHiC: a computational pipeline to identify chromatin loops from single-cell H...

    智能生信
  • [Nature communications]四篇好文简读-专题3

    Genome-wide detection of cytosine methylations in plant from Nanopore data using...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题6

    FraGAT: a fragment-oriented multi-scale graph attention model for molecular prop...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题4

    MultiDTI: drug–target interaction prediction based on multi-modal representation...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题5

    Highly accurate classification of chest radiographic reports using a deep learni...

    智能生信
  • 【Bioinformatics】四篇好文简读-专题1

    Subtype-GAN: a deep learning approach for integrative cancer subtyping of multi-...

    智能生信
  • 【Nature communications】四篇好文简读-专题1

    Structure-based protein function prediction using graph convolutional networks i...

    智能生信

扫码关注云+社区

领取腾讯云代金券