首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Multitask Learning

现在大多数机器学习任务都是单任务学习。对于复杂的问题,也可以分解为简单且相互独立的子问题来单独解决,然后再合并结果,得到最初复杂问题的结果。这样做看似合理,其实是不正确的,因为现实世界中很多问题不能分解为一个一个独立的子问题,即使可以分解,各个子问题之间也是相互关联的,通过一些共享因素或共享表示(share representation)联系在一起。把现实问题当做一个个独立的单任务处理,忽略了问题之间所富含的丰富的关联信息。多任务学习就是为了解决这个问题而诞生的。把多个相关(related)的任务(task)放在一起学习。这样做真的有效吗?答案是肯定的。多个任务之间共享一些因素,它们可以在学习过程中,共享它们所学到的信息,这是单任务学习所具备的。相关联的多任务学习比单任务学习能去的更好的泛化(generalization)效果。

01
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    联合训练2D-3D多任务学习 | 深度估计、检测、分割、3D检测通吃

    而不是以前将这些学习目标分离到不同网络模块中的方法。这种统一的方法不仅减少了对细致的经验结构设计的需求,而且显著增强了多任务网络的表示学习能力,因为整个模型能力都致力于同时优化这三个目标。 TaskPrompt引入了一种基于Cityscapes-3D数据集的新的多任务基准,该基准要求多任务模型同时生成单目3D车辆检测、语义分割和单目深度估计的预测。这些任务对于实现对视觉场景的2D-3D联合理解至关重要,特别是在自动驾驶系统的开发中。 在这个具有挑战性的基准上,与单任务最先进的方法相比,本文的多任务模型表现出了强大的性能,并在具有挑战性3D检测和深度估计任务上建立了新的最先进的结果。

    05

    7篇顶会论文带你梳理多任务学习建模方法

    多任务学习(Multitask Learning)是迁移学习的一种方式,通过共享表示信息,同时学习多个相关任务,使这些任务取得比单独训练一个任务更好的效果,模型具有更好的泛化性。在深度学习模型中,多任务学习的最直接实现方法是多个Task共享底层的多层网络参数,同时在模型输出层针对不同任务配置基层Task-specific的参数。这样,底层网络可以在学习多个Task的过程中从不同角度提取样本信息。然而,这种Hard Parameter Sharing的方法,往往会出现跷跷板现象。不同任务之间虽然存在一定的关联,但是也可能存在冲突。联合训练导致不相关甚至冲突的任务之间出现负迁移的现象,影响最终效果。为了解决Hard Parameter Sharing的弊端,学术界涌现了如多专家网络(Multi-expert Network,MoE)等多种解决深度学习中多任务学习问题的方法,是学术界一直以来研究的热点,在工业界也有诸多应用。本文从最基础的多任务学习开始,梳理了近几年来7篇多任务学习顶会相关工作,包括Hard/Soft Parameter Sharing、参数共享+门控、学习参数共享方式等建模方式。

    01

    NIPS 2018 | 作为多目标优化的多任务学习:寻找帕累托最优解

    统计学中最令人震惊的结论之一是 Stein 悖论。Stein(1956)认为,若要估计高斯随机变量,最好是从所有样本中估计三个或三个以上变量的均值,而不是分别单独进行估计,即使这些高斯分布是相互独立的。Stein 悖论是探索多任务学习(MTL)(Caruana,1997)的早期动机。多任务学习是一种学习范式,其中来自多任务的数据被用来获得优于独立学习每个任务的性能。MTL 的潜在优势超出了 Stein 悖论的直接含义,因为即便是真实世界中看似无关的任务也因数据共享的过程而存在很强的依赖性。例如,尽管自动驾驶和目标操纵看似无关,但相同的光学规律、材料属性以及动力学都对基础数据产生了影响。这启发人们在学习系统中使用多任务作为归纳偏好。

    02

    arXiv | ExT5:利用大规模有监督多任务学习来改进NLP模型的自监督预训练策略

    本文介绍由Google Research和DeepMind合作发表于arXiv上的研究工作。尽管近年来多任务学习和迁移学习在自然语言处理(NLP)领域取得了成功,但很少有工作系统地研究在预训练期间扩大任务数量的效果。本文提出了一个由107个有监督NLP任务组成、跨越不同领域和任务族的庞大集合EXMIX(Extreme Mixture)。利用EXMIX,作者研究了迄今为止规模最大的多任务预训练的效果,并分析了常见任务族之间的协同训练迁移。分析表明,为多任务预训练手动策划一个理想的任务集并不简单,而且多任务扩展本身就能极大地改善模型。最后,作者提出了一个使用自监督C4和有监督EXMIX的多任务目标进行预训练的模型ExT5。广泛的实验表明,ExT5在SuperGLUE、GEM、Rainbow、Closed-Book QA任务和EXMIX以外的几个任务上都优于强大的T5基线,而且ExT5在预训练时也明显提高了采样效率。

    01
    领券