腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

数据派THU

专栏作者

2139

文章

1934725

阅读量

188

订阅数

【ICML2023】基于最优多任务插值的多模态基础模型迁移

迁移学习迁移基础模型数据

来源：专知本文为论文介绍，建议阅读5分钟在这项工作中，我们提出了一种通用的参数高效迁移学习方法。基础模型在多任务学习方面取得了很大的进展，实现了统一的单模态和多模态任务接口。然而，在迁移学习过程中，这类多任务学习器的潜力尚未得到充分利用。在这项工作中，我们提出了一种通用的参数高效迁移学习方法，称为预测-插值调优（π-调优），适用于视觉、语言和视觉-语言任务。它汇集了从类似任务中学到的轻量级任务特定专家的参数，以帮助目标下游任务。任务相似性在统一的模态无关空间中进行预测，形成一个可扩展的图表来展示任务之间

2023-05-11

3250

将人类语言理解能力应用于药物发现中以提高活性预测模型的性能

迁移学习工具模型数据性能

来源：DrugAI本文约1200字，建议阅读5分钟今天为大家介绍的是来自Günter Klambauer团队的一篇分子活性预测的论文。在药物发现和材料科学中，活性和性质预测模型是及其重要的工具，但目前采用的模型一般需要根据新需求在目标数据上进行训练或微调。语言模型可以通过零/少样本能力处理新的任务，但其活性预测的预测质量较差。为此，作者提出了一种新型活性预测模型，通过理解描述任务的文本信息，能够在推理时适应新的预测任务。分子活性和分子性质预测模型是计算药物发现中的主要工具，类似于自然语言处理（NL

2023-04-25

4320

迁移学习「求解」偏微分方程，条件偏移下PDE的深度迁移算子学习

迁移学习迁移框架模型数据

本文约3200字，建议阅读5分钟迁移学习框架能够快速高效地学习异构任务。传统的机器学习算法旨在孤立地学习，即解决单个任务。在许多实际应用中，收集所需的训练数据和重建模型要么成本高得令人望而却步，要么根本不可能。迁移学习（TL）能够将在学习执行一个任务（源）时获得的知识迁移到一个相关但不同的任务（目标），从而解决数据采集和标记的费用、潜在的计算能力限制和数据集分布不匹配的问题。来自美国布朗大学和约翰斯·霍普金斯大学（JHU）的研究人员提出了一种新的迁移学习框架，用于基于深度算子网络 (DeepONet

2023-03-29

4620

深度学习中高斯噪声：为什么以及如何使用

迁移学习 keras 深度学习

来源：DeepHub IMBA本文约1800字，建议阅读8分钟高斯噪声是深度学习中用于为输入数据或权重添加随机性的一种技术。在数学上，高斯噪声是一种通过向输入数据添加均值为零和标准差(σ)的正态分布随机值而产生的噪声。正态分布，也称为高斯分布，是一种连续概率分布，由其概率密度函数 (PDF) 定义： pdf(x) = (1 / (σ * sqrt(2 * π))) * e^(- (x — μ)² / (2 * σ²)) 其中 x 是随机变量，μ 是均值，σ 是标准差。通过生成具有正态分布的随机

2023-02-28

1.5K0

Nature子刊 | NUS、字节首次将AI元学习引入脑成像领域

腾讯云测试服务 html 机器学习学习方法迁移学习

来源：量子位（公众号id：qbitai）本文约2600字，建议阅读9分钟脑成像技术是神经科学发展的一个重要领域，能够直接观察大脑在信息处理和应对刺激时的神经化学变化、从而对疾病的诊断和治疗提供重要参照。近期，新加坡国立大学、字节跳动智能创作新加坡团队等机构合作的一项技术成果被全球顶级学术期刊Nature的子刊Nature Neuroscience收录。这项研究首次将人工智能领域的元学习方法引入到神经科学及医疗领域，能在有限的医疗数据上训练可靠的AI模型，提升基于脑成像的精准医疗效果。研究背景脑

2022-06-13

1670

图像预训练模型的起源解说和使用示例

pytorch 迁移学习图像识别机器学习深度学习

来源：Deephub Imba本文约3500字，建议阅读14分钟本文文章简要介绍了研究人员在图像识别算法和图像数据方面的演变，并总结了现在的一些热门话题。三十多年来，许多研究人员在图像识别算法和图像数据方面积累了丰富的知识。如果你对图像训练感兴趣但不知道从哪里开始，这篇文章会是一个很好的开始。这篇文章简要介绍了过去的演变，并总结了现在的一些热门话题。 ImageNet 预训练模型迁移学习（热门话题）使用预训练模型识别未知图像 PyTorch ImageNet 的起源在 2000 年代初期，大多数

2022-05-05

5060

CVPR 2022 | CNN自监督预训练新SOTA

监督学习迁移学习图像处理

来源：机器之心本文约3300字，建议阅读6分钟研究者提出了一种基于层级语义结构的选择性对比学习框架。层级结构无处不在，自然界中存在「界 - 门 - 纲 - 类 - 科 - 属 - 种」这样的层级关系, 大规模自然图像数据集中也天然存在。例如，ImageNet 数据集的类别标签本身就是基于 WordNet 层级形成的, 我们总是可以「刨根问底」地找到某个类别的「父类」。举例而言，拉布拉多犬是一种犬类，而犬类又是一种哺乳动物。这就形成了拉布拉多犬 -> 犬类 -> 哺乳动物的层级关系。近年来, 计算机视觉

2022-03-21

1.2K0

论文推荐：ReLICv2 ，新的自监督学习能否在ResNet 上超越监督学习？

迁移学习监督学习 linux 其他图像处理

来源：DeepHub IMBA本文约2500字，建议阅读5分钟自监督 ResNets 能否在 ImageNet 上没有标签的情况下超越监督学习？在本文中将介绍最近一篇推动自监督学习状态向前发展的论文，该论文由 DeepMind 发表，绰号为 ReLICv2。 Tomasev 等人的论文“Pushing the limits of self-supervised ResNets: Can we outperform supervised learning without labels on ImageNet

2022-03-21

6740

原创 | 清华开源迁移学习算法库

编程算法迁移学习 windows server 机器学习神经网络

Trans-Learn是基于PyTorch实现的一个高效、简洁的迁移学习算法库，目前发布了第一个子库——深度域自适应算法库（DALIB），支持的算法包括：

2020-08-06

7180

干货 | 吴恩达亲自为这份深度学习专项课程精炼图笔记点了赞！（附下载）

编程算法监督学习迁移学习神经网络卷积神经网络

[ 导读 ]吴恩达在推特上展示了一份由 TessFerrandez 完成的深度学习专项课程信息图，这套信息图优美地记录了深度学习课程的知识与亮点。因此它不仅仅适合初学者了解深度学习，还适合机器学习从业者和研究者复习基本概念。我们认为这不仅仅是一份课程笔记，同时还是一套信息图与备忘录。下面，我们将从深度学习基础、卷积网络和循环网络三个方面介绍该笔记。

2019-11-18

3990

干货 | 只有100个标记数据，如何精确分类400万用户评论？

迁移学习 NLP 服务深度学习 http

迁移学习模型的思路是这样的：既然中间层可以用来学习图像的一般知识，我们可以将其作为一个大的特征化工具使用。下载一个预先训练好的模型（模型已针对ImageNet任务训练了数周时间），删除网络的最后一层（完全连接层），添加我们选择的分类器，执行适合我们的任务（如果任务是对猫和狗进行分类，就选择二元分类器），最后仅对我们的分类层进行训练。

2018-09-17

4890

独家 | 一文读懂迁移学习（附学习工具包）

人工智能机器学习迁移学习

1. 前言迁移学习（Transfer Learning,TL）对于人类来说，就是掌握举一反三的学习能力。比如我们学会骑自行车后，学骑摩托车就很简单了；在学会打羽毛球之后，再学打网球也就没那么难了。对于计算机而言，所谓迁移学习，就是能让现有的模型算法稍加调整即可应用于一个新的领域和功能的一项技术。不久前，香港科技大学的杨强教授在机器之心GMIS大会中回顾AlphaGo和柯洁的围棋大战时曾说，AlphaGo 看上去像神一样的存在，好像是无懈可击，而我们如果从机器学习的角度来看，它还是有弱点的，而且这个弱

2018-01-29

1.5K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态