首页
学习
活动
专区
工具
TVP
发布

数据派THU

专栏作者
2140
文章
1960031
阅读量
188
订阅数
【ICML2023】基于最优多任务插值的多模态基础模型迁移
来源:专知本文为论文介绍,建议阅读5分钟在这项工作中,我们提出了一种通用的参数高效迁移学习方法。 基础模型在多任务学习方面取得了很大的进展,实现了统一的单模态和多模态任务接口。然而,在迁移学习过程中,这类多任务学习器的潜力尚未得到充分利用。在这项工作中,我们提出了一种通用的参数高效迁移学习方法,称为预测-插值调优(π-调优),适用于视觉、语言和视觉-语言任务。它汇集了从类似任务中学到的轻量级任务特定专家的参数,以帮助目标下游任务。任务相似性在统一的模态无关空间中进行预测,形成一个可扩展的图表来展示任务之间
数据派THU
2023-05-11
3340
迁移学习「求解」偏微分方程,条件偏移下PDE的深度迁移算子学习
本文约3200字,建议阅读5分钟 迁移学习框架能够快速高效地学习异构任务。 传统的机器学习算法旨在孤立地学习,即解决单个任务。在许多实际应用中,收集所需的训练数据和重建模型要么成本高得令人望而却步,要么根本不可能。 迁移学习(TL)能够将在学习执行一个任务(源)时获得的知识迁移到一个相关但不同的任务(目标),从而解决数据采集和标记的费用、潜在的计算能力限制和数据集分布不匹配的问题。 来自美国布朗大学和约翰斯·霍普金斯大学(JHU)的研究人员提出了一种新的迁移学习框架,用于基于深度算子网络 (DeepONet
数据派THU
2023-03-29
4710
只需2040张图片,训练视觉Transformer:南大吴建鑫团队提出IDMM
来源:机器之心本文共3000字,建议阅读5分钟本文研究了如何使用有限数据训练 ViT,由于可以捕获特征对齐和实例相似性,新方法展现了优势。 预训练模型是否也能只需要很少的样本就能完成任务? Transformer 架构的强大性能不仅在 NLP 领域成为了主流,也在代替卷积神经网络 CNN,成为视觉识别的一个方向(ViT)。一些 transformer 模型已经取得了有竞争力的结果,但因为缺乏典型的卷积归纳偏差使得它们比普通 CNN 需要更多的训练数据。 在南京大学吴建鑫团队近日提交的一篇论文中,研究者研究了
数据派THU
2022-03-04
2860
神经风格迁移模型综述
神经风格迁移技术主要用于对图像、视频等进行风格化,使其具有艺术美感,该领域极具应用价值,是人工智能的热门研究领域之一。为推动神经风格迁移领域的研究发展,对神经风格迁移技术进行了全面概述。简述了非真实感渲染技术和传统的纹理迁移技术。对现有神经风格迁移模型进行了分类整理,并详细探讨了各类代表性模型的算法原理及后续改进,分析了神经风格迁移技术的应用市场。提出对风格迁移模型质量的评判应该从定性评估和定量评估两个方面来考虑,并从各个角度讨论了现阶段风格迁移技术存在的问题以及未来研究方向。最后强调应提高模型的综合能力,在保证生成质量的情况下提升生成速度以及泛化能力。
数据派THU
2021-10-19
7560
没有更多了
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档