【AAAI 2021】四篇好文简读-专题2

智能生信

发布于 2021-10-08 16:16:30

5390

发布于 2021-10-08 16:16:30

一

论文题目：

PSSM-Distil: Protein Secondary Structure Prediction (PSSP) on Low-Quality PSSM by Knowledge Distillation with Contrastive Learning

论文摘要：

蛋白质二级结构预测（PSSP）是计算生物学的一项重要任务。为了实现准确的PSSP，许多特征工程使用多序列比对（MSA）进行位置特异性评分矩阵（PSSM）提取。然而，由于序列同源性差，而只能获得低质量的PSSM时，之前的PSSP准确率（仅65%左右）远远不能满足后续任务的实际使用。在本文中，作者提出了一个新的PSSM-Distil框架，用于低质量的PSSM上的PSSP，它不仅增强了低层次的PSSM特征，而且还对齐了高层次的特征分布。在实践中，PSSM-Distil首先利用具有高质量PSSM的蛋白质，以全监督的方式实现PSSP的教师网络。在教师网络的指导下，低质量的PSSM和相应的低分辨能力的学生网络通过EnhanceNet的特征增强和对比学习的知识提炼的分布调整得到有效解决。此外，PSSM-Distil支持来自预训练的蛋白质序列语言BERT模型的输入，以提供辅助信息，这是为了解决极低质量的PSSM情况，即没有同源序列。

论文连接：

https://ojs.aaai.org/index.php/AAAI/article/view/16141/15948

Github链接：

https://github.com/qinwang-ai/PSSM-Distil

二

论文题目：

MolGrow: A Graph Normalizing Flow for Hierarchical Molecular Generation

论文摘要：

作者提出了一个生成分子图的层次归一化流模型。该模型通过递归地将每个节点分割为两个节点，从一个单节点图中生成新的分子结构。所有的操作都是可逆的，可作为即插即用模块使用。模型将分子结构映射到一个固定大小的层次流形上，流形的顶层定义了全局结构，而底层则影响了局部特征。潜在代码的层次性质可以使得结果图中发生精确的变化：顶层的扰动会导致全局结构的变化，而随后层次的扰动会轻微地改变产生的分子。该模型在分布学习任务上优于现有的生成图模型。作者还展示了使用模型的潜在代码对分子的化学性质全局和约束优化的成功实验。

论文链接：

https://ojs.aaai.org/index.php/AAAI/article/view/17001

三

论文题目：

Accelerating Continuous Normalizing Flow with Trajectory Polynomial Regularization

论文摘要：

在本文中，作者提出了一种有效加速已被证明是变分推理和密度估计等任务的有力工具的连续归一化流(CNF)计算的方法。CNF的训练时间成本可能非常高，因为求解相应的常微分方程(ODE)所需的函数求值数量(NFE)非常大。作者认为高NFE是由求解ODEs的大的截断误差造成的。为了解决这个问题，作者建议添加一个正则化的方法。正则化惩罚了ODE的轨迹与其拟合多项式回归之间的差异。ODE的轨迹将近似于一个多项式函数，因此截断误差将较小。此外，作者提供了两个证明，证明附加的正则化不会损害训练质量。实验结果表明，该方法在密度估计任务下的NFE值可降低42.3%~71.3%，在变分自动编码器上的NFE降低了19.3%-32.1%，而测试损失不受影响。

论文链接：

https://ojs.aaai.org/index.php/AAAI/article/view/16956

代码链接：

https://github.com/hanhsienhuang/CNF-TPR

四

论文题目：

OpEvo: An Evolutionary Method for Tensor Operator Optimization

论文摘要：

深度神经网络的训练和推理效率高度依赖于张量算子在硬件平台上的性能。手动优化张量算子在支持新的操作符或硬件平台方面存在局限性。因此，自动优化张量算子的设备代码配置越来越有吸引力。然而，由于组合搜索空间的存在，目前的张量算子的优化方法采集样本效率通常较差。在这项工作中，作者提出了一种新的进化方法，OpEvo，它通过引入基于q-随机游走的拓扑感知突变操作，利用搜索空间上的拓扑结构，有效地探索了张量算子的搜索空间。作者的综合实验结果表明，与最先进的(SOTA)方法相比，OpEvo可以在固定试验次数和壁钟时间上找到方差最低和代价最少的最佳配置。