首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

基于Transformer预训练的蛋白语言模型是无监督的蛋白质结构学习器

无监督接触预测 (Unsupervised Contact Prediction) 是在蛋白质结构测定和设计过程中揭示蛋白质物理、结构和功能约束的核心。几十年来,主要的方法是从一组相关序列中推断进化约束。在过去的一年里,蛋白质语言模型已经成为一种潜在的替代方法,但目前性能还没有达到生物信息学中最先进的方法。本文证明了Transformer的注意图 (Attention Map) 能够从无监督语言建模目标中学习蛋白质序列中各个残基之间的接触距离。我们发现,迄今为止已经训练过的最高容量模型已经优于当前最先进的无监督接触预测的工作流程,这表明过去这些繁琐的工作流程可以用端到端模型的单向传递工作流程来代替。

01
您找到你想要的搜索结果了吗?
是的
没有找到

ICLR 2022 under review | 从零开始生成三维分子几何结构的自回归流模型

今天给大家介绍的是ICLR2022上underreview的文章《An autoregressive flow model for 3d molecular geometry generation from scratch》。虽然目前已经开发了多种方法来生成分子图,但从零开始生成分子的三维几何结构问题并没有得到充分的探索。在这项工作中,作者提出了G-SphreNet,一种生成三维分子几何的自回归流模型。G-SphereNet采用了一种一步步将原子放置在三维空间上灵活的顺序生成方案,它并不直接生成三维坐标,而是通过生成距离、角度和扭转角来确定原子的三维位置,从而确保不变性和等变性。此外,作者建议使用球形信息传递和注意力机制进行条件信息提取。实验结果表明,G-SphreNet在随机分子几何结构生成和目标分子发现任务方面优于以往的方法。

02

脑网络的小世界属性

自小世界网络的概念被首次使用高聚类系数和短路径长度的结合被定量定义以来,已经过去了将近20年;大约10年前,作为连接组学新领域快速发展的一部分,这种复杂网络拓扑度量开始广泛应用于神经影像和其他神经科学数据的分析。本文简要回顾了图论方法和小世界网络生成的基本概念,并详细考虑了最近使用高分辨率轨迹追踪方法绘制猕猴和小鼠解剖网络的研究的意义。在本文章中需要区分二进制或未加权图的拓扑分析和加权图的拓扑之间的重要方法区别,前者在过去为脑网络分析提供了一种流行但简单的方法,后者保留了更多的生物学相关信息,更适合于先进的图分析和其他成像研究中出现的越来越复杂的脑连接数据。最后,本文强调了加权小世界进一步发展的一些可能的未来趋势,将此作为哺乳动物皮层各区域之间强弱联系的拓扑和功能价值研究的一部分进行了更深更广泛的讨论。本文发表在The Neuroscientist杂志。

02
领券