首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

KG-MTL:知识与数据双驱动的药物靶标预测方法

图1 KG-MTL框架图 实验 DTI实验 如表1所示,可看出KG-MTL优于所有其他基线方法。...表2 在CPII预测任务上的对比实验结果 消融实验 为了研究Shared Unit模块中不同操作和学习策略对提出模型性能的影响,该论文对KG-MTL的几种变体进行了消融实验:KG-MTL-S是KG-MTL...因此,可以采用KG-MTL-Sdti/KG-MTL-Scpi表示单个DTI/CPI任务,KG-MTL-L去除了Shared Unit的交叉操作,仅保留了线性操作。...在所有变体中,KG-MTL-S与KG-MTL相比,性能差距显著,这表明Shared Unit模块在帮助模型同时从分子图和知识图谱中提取的药物特征方面贡献最大,从而提高了预测性能。...此外,所提出的KG-MTL方法在所有数据集中均优于KG-MTL-L和KG-MTL-C,证明了完整设置的Shared Unit模块有利于提高预测性能。

46420

【综述专栏】释放多任务学习的力量:涵盖传统、深度和预训练基础模型时代的综述!!!

多任务学习(MTL)是一种学习范式,有效地利用任务特定和共享信息同时解决多个相关任务。与单任务学习(STL)相比,MTL提供了一系列优势,增强了训练过程和推理效率。...§ 1.3深入探讨了采用MTL的动机,从明显和微妙的角度提供见解,同时也讨论了MTL如何惠及相关任务。...然而,MTL可以方便地转移从其他任务学到的额外知识。MTL的本质在于通过结合数据资源和共享知识,利用任务之间的共识和补充信息。...Ruder (2017) 的研究是MTL的先锋综述,提供了MTL的广泛概述,并专注于2015年到2017年深度神经网络的进展。...Thung和Wee (2018) 从输入输出变体的分类学角度回顾了MTL方法,主要集中在2016年之前的传统MTL。这两篇综述可以相辅相成。

16610

利用知识图谱和分子图,湖大等开发药物筛选新模型

同时,将传统的机器学习方法、基于图的方法、基于知识图谱的方法和单任务模型变体与 KG-MTL 进行对比,实验结果表明 KG-MTL 中的共享单元同样可以提升单任务性能。...表 2 CPI 任务的结果 消融实验 为了研究共享单元的不同操作和学习策略如何提高所提出模型的性能,研究人员对 KG-MTL 的以下变体进行了消融研究: KG-MTL-S 是 KG-MTL 的变体,它消除了共享单元和学习策略...因此,可以采用 KG-MTL-Sdti 和 KG-MTL-Scpi 分别表示单个 DTI 任务和 CPI 任务; KG-MTL-L 消除了共享单元的交叉操作,仅保留了线性操作; KG-MTL-C 删除了共享单元的线性操作...在所有变体中,KG-MTL-S 与 KG-MTL 相比具有最显著的性能差距,这表明共享单元在帮助模型共同捕获从分子图和知识图谱中提取的药物特征方面贡献最大,从而提高了预测性能。...此外,所提方法在所有数据集中均优于 KG-MTL-L 和 KG-MTL-C,证明了设置完整的共享单元有利于提高预测性能。

38710

Research | 使用无监督学习、多任务学习的分子性质预测新方法

结果 整体训练测试框架 MTL-BERT的概览流程如图2所示。MTL-BERT模型首先通过掩码标记预测任务对大量未标记的分子数据进行预训练,以挖掘SMILES字符串中的上下文信息。...图2 模型训练测试流程图 模型结构研究 为了找出哪种MTL-BERT结构可以更好地完成分子特性预测任务,本文设计并比较了3种不同大小的结构。表中列出了3种类型的MTL-BERT结构的模型参数和性能。...结果如图4所示,显然,MTL-BERT的性能在绝大多数任务上都优于基线模型。...图4 模型与基线模型对比结果 通过t-SNE分析来自预训练MTL-BERT模型的SMILES标记的表示 为了分析MTL-BERT模型在预训练阶段学到了什么,本文可视化了预训练MTL-BERT模型生成的SMILES...图5 预训练模型字符向量聚类图 MTL-BERT的attention分析 MTL-BERT利用注意力机制从所有SMILES标记中聚合信息,以构建与任务相关的分子表示。

79930

Nat. Mach. Intell. | 药物设计中的多任务学习

当多个任务具有相似性时,MTL能有效地在任务之间转移信息,提高预测的准确性。MTL的应用广泛,涵盖计算机视觉、生物信息学、语音识别和自然语言处理等多个领域。...此外,MTL通过在不同任务间共享信息,不仅提高了预测效率,还增强了模型的泛化能力。...成对输入的MTL模型流程 图 1 药物设计中使用的神经网络基础的MTL模型大多可以拆分为几个独立的模块,这些模块可以通过图1a中所示的双输入MTL模型流程来解释。...组合潜在表示与决策模型 在MTL中,有多种方法可以组合不同的表示学习模型,包括拼接、聚合、外积、身份机制和注意力机制。如图1b所示,在重新设计的多输出MTL模型中,多种潜在空间被融合成一个统一的集合。...在药物设计领域的MTL应用中,常见的决策模型包括线性模型、前馈卷积神经网络(FCNNs)和相似度测量方法。 MTL面临的一大挑战是如何平衡模型中各个任务的影响。

8810

【NSR特别专题】张宇 杨强:多任务学习概述「全文翻译」

在本文中,我们对MTL进行了综述,首先给出MTL的定义。...最后,本文综述了MTL的理论,以加深我们对其的理解。 本文剩余部分结构如下。“MTL”部分介绍了MTL的定义。...“并行与分布式MTL”部分介绍了并行与分布式MTL模型。“MTL的应用”部分展示了MTL是如何帮助其他领域的。“理论分析”部分专注于MTL的理论分析。最后,“结论”部分对全文进行了总结。...结论 在本文中,我们对MTLMTL)进行了概述。 首先,我们给出了一个MTL的定义。...对于每种MTL方法,我们介绍了其有代表性的模型。 然后讨论了并行和分布式MTL模型,这两个模型可以帮助加快MTL学习过程。 最后,我们回顾了MTL在各个领域的应用,并介绍了MTL的理论分析。

1.7K20

学界 | 多任务学习概述论文:从定义和方法到应用和原理分析

从这个意义上看,MTL 可以被看作是多标签学习和多输出回归的一种泛化。 我们在本论文中对 MTL 进行了概述。我们首先将先给出 MTL 的定义。...此外,我们也将回顾对 MTL 的理论分析,这能为我们提供对 MTL 的深度理解。 多任务学习 首先,我们给出 MTL 的定义。...因此不同的学习任务对应于不同的 MTL 设置,这也是后面的章节所关注的重点。在后面的章节中,我们将回顾不同 MTL 设置中的代表性 MTL 模型。...MTL 领域的理论分析主要关注的是 MTL 模型的泛化边界(generalization bound)。众所周知,MTL 的主要关注点是 MTL 在测试数据上的泛化表现。...然后讨论了并行和分布式 MTL 模型,这可以帮助加快学习过程。最后,我们回顾了 MTL 在各个领域的应用,并对 MTL 进行了理论分析。

1.3K80

揭秘为什么大公司搜索推荐都用CTRCVR Cotrain的框架

MTL中, 归纳式的bias是由辅助任务提供的。...两种经典MTL学习方式 到目前为止,Deep Learning中最常见的两种MTL方法是Hard parameter sharing 和Soft parameter sharing。...为什么MTL是有效的呢? 在上面我们给出了MTL的启发式解释,但是还是不够解释MTL的有效性。此处我们更加深入的分析潜在的机制。我们先假设我们有两个相关的任务和,他们共享一个相同的浅层表示。...非神经网络中的MTL 为了更好地理解MTL在DNN中的任务,我们看看MTL在现有工作中的情况,特殊地,此处主要讨论MTL两种流行性的说法: 通过范数正则化实现任务间的稀疏性; 对任务之间的关系进行建模;...Related task 将相关任务作为MTL的辅助任务。

1.4K20

ICCV 2019 | 加一个任务路由让数百个任务同时跑起来,怎么做到?

在计算机科学中,MTL的定义是这样的:MTL是一种学习范式,它通过同时优化多个任务来提高机器学习模型的泛化性能。与多任务相对的,是单任务(STL),也就是一个模型只对应一种任务。...背景知识 多任务学习( MTL)是一种旨在提高机器学习模型对多个任务进行优化的泛化性能的学习范式。还可以将MTL描述为一种利用相关任务的训练信号中包含的领域特定信息来改进泛化属性的机制。...因此,在MTL中,我们的目标是联合执行多个任务,并改进每个任务的训练学习过程。MTL可以分为对称(symmetric)和非对称(asymmetric)两种。...如果这种先验知识是存在的,很明显对MTL是有益的,但如果这种先验知识不存在或者难以获得,对有些MTL性能是一个巨大打击,也会阻碍MTL在实际应用中的落地。...任务路由(Task Routing) MTL中,硬参数共享是主流。硬参数共享是指,将MTL划分为特征共享部分(task-shared)和特定任务的特征(task-specific)两部分。

61310

Science杂志:研究者首次发现人类记忆检索的电生理标志物

被试以及实验设计 实验中的被试是14个癫痫患者,颅内电极放置在MTL和其他脑区(如图1A),当被试执行配对关联词语记忆任务时采集颅内EEG信号。...作为对比,研究者还研究了除MTL和颞叶联合皮层(包括MTG)外的其他脑区(如初级运动皮层,Primary motor)的EEG信号,结果发现,在记忆检索的过程中,初级运动皮层不会产生与MTL同步的波纹振荡信号...(图1E中最上面的时频分析图),只有颞叶联合皮层会产生与MTL脑区同步的波纹振荡信号(图1E中下面两个图)。...2、此外,与未能成功地回忆起所需记住的单词相比,当被试成功地回忆起所需要记住的单词时,MTL脑区的波纹振荡数量以及MTL和颞叶联合皮层之间的耦合波纹振荡数量会显著增加(图2C、D、E)。...总之,本篇文章揭示了内侧颞叶(MTL)和颞叶联合皮层之间的波纹振荡耦合对于人的记忆检索功能具有重要的作用,这对于进一步理解记忆的神经机制提供有价值的参考。

67000

共享相关任务表征,一文读懂深度神经网络多任务学习

目录 1.介绍 2.动机 3.两种深度学习 MTL 方法 Hard 参数共享 Soft 参数共享 4.为什么 MTL 有效 隐式数据增加 注意力机制 窃听 表征偏置 正则化 5.非神经模型中的 MTL...在本文中,我将尝试概括一下多任务学习的现状,特别是当涉及到具有深度神经网络的 MTL 时。我将首先从不同的角度阐述 MTL 的动机。然后,我将介绍 MTL 在深度学习中最常用的两种方法。...随后,我将描述 MTL 的机制,并阐述为什么 MTL 在实践中效果良好。在研究更先进的基于神经网络的 MTL 方法之前,我将通过讨论 MTL 的文献来提供一些背景。...两种深度学习 MTL 方法 到目前为止,我们只研究了 MTL 的理论动机。为了使 MTL 的思想更具体化,现在我们来看一下在深度神经网络中执行多任务学习的两种最常用的方法。...非神经模型中的 MTL 为了更好地了解深度神经网络中的 MTL,我们将研究关于 MTL 在线性模型、核函数方法和贝叶斯算法方面的论文。

2.5K70

Survey | 多任务学习综述

,并重点讨论了多任务监督学习的五种方法,之后分析了并行和分布式MTL,最后提出在未来的MTL研究中还需解决的问题。...在MTL定义的基础上,由于大多数MTL研究都是在这种背景下进行的,因此主要研究监督学习任务,再对其它类型学习任务进行回顾。 3....上述模型的特征变换只有一个层次,而一些深层的MTL模型可以有多层特征转换,许多深层MTL方法假设任务共享前几个隐藏层,然后在后续层中设有特定于任务的参数。...所以我们可以使用这些强大的计算设备来设计并行 MTL 算法,从而加速训练过程。 在某些情况中,用于不同任务的训练数据可能存在不同的机器中,这会使传统的 MTL 模型难以工作。...设计能够直接处理分布在多台机器上数据的分布式 MTL 模型是更好的选择。 9. MTL的应用 MTL在不同领域有不同应用,其模型各不相同,解决的应用问题也不尽相同,但在各自的领域都存在着一些特点。

80930

三维引擎导入obj模型全黑总结

child.geometry.computeVertexNormals(); } PS:如何判断模型是否有法线向量,只需要用文本编辑器打开*.obj文件,查看是否有“vn” 标记 mtl...文件中设置模型颜色为黑色 一些建模人员在导出mtl文件时候, 参数Kd 是0 0 0, Kd参数会被解析成模型材质的color属性,既颜色。...mtl 也是文本文件,直接用文本编辑器可以打开查看: PS mtl中 Kd 代表漫反射的颜色, Ks代表高光反射的颜色。...mtl文件中贴图引用了本地路径 有时候建模人员在导出mtl文件的时候,里面的贴图路径是本地的绝对路径,如下图所示: 此时导入的模型因为找不到贴图,而变成了黑色。...解决方法就是把绝对路径改成相对路径,如下图: 可以手动编辑mtl文件修改,也可以建模人员导出的时候设置。

1.2K20

腾讯提出的最强多任务学习(MFH)不学习下吗?

作者:十方 以往多任务学习(MTL)的研究都是针对小数量级任务做的,但是在推荐系统里需要对大数量的任务做multi-task的学习.举例来说,在推荐系统中会用MTL对用户多种行为进行建模,不同任务之间有着各种维度的相关性...Hierarchical Multi-Task Learning for a Large Number of Tasks with Multi-dimensional Relations>就提出了一个多视角层级MTL...模型(MFH).使用层级结构可以充分挖掘出不同任务之间的关系并在工业数据集上也优于其他MTL模型....但有多个隐层输出 论文表示使用SOTA的switcher在数据充分的情况下会获得收益. base model如下图所示: MFH 对于上节中的9个task的任务,一个switcher已经完全不够用了,因此层级MTL...H-MTL是不是有点死板,最上层是个树结构,并没有信息共享.MFH由多个H-MTL构成,从多个视角学习9个任务: 两个视角: 三个视角: 更多细节参考原文.

80140

多任务学习中的网络架构和梯度归一化

多任务学习(Multi-Task Learning, MTL)可以实现这样的系统,其中一个模型在多个任务之间分配权重,并在一次正向传递中产生多个推理。...将多任务性能 ΔMTL 定义为每个任务的平均性能下降: li = 1,如果值越低意味着度量Mi的性能越好。...结果如下: 单任务与多任务:首先,将专注于编码器和专注于解码器的 MTL 模型与它们在 NYUD-v2 和 PASCAL 上的单任务对应进行比较。...相对于单任务学习,MTL 可以提供几个优点,即更小的内存占用、减少的计算次数和更高的性能。 在 NYUD-v2 上,MTL 证明了一种联合处理分割和深度估计是有效策略。...并且大多数 MTL 模型优于单任务网络集。 在 PASCAL 上,使用 MTL 基线时处理效率更高,但性能也会下降。

34720
领券