首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    7篇顶会论文带你梳理多任务学习建模方法

    多任务学习(Multitask Learning)是迁移学习的一种方式,通过共享表示信息,同时学习多个相关任务,使这些任务取得比单独训练一个任务更好的效果,模型具有更好的泛化性。在深度学习模型中,多任务学习的最直接实现方法是多个Task共享底层的多层网络参数,同时在模型输出层针对不同任务配置基层Task-specific的参数。这样,底层网络可以在学习多个Task的过程中从不同角度提取样本信息。然而,这种Hard Parameter Sharing的方法,往往会出现跷跷板现象。不同任务之间虽然存在一定的关联,但是也可能存在冲突。联合训练导致不相关甚至冲突的任务之间出现负迁移的现象,影响最终效果。为了解决Hard Parameter Sharing的弊端,学术界涌现了如多专家网络(Multi-expert Network,MoE)等多种解决深度学习中多任务学习问题的方法,是学术界一直以来研究的热点,在工业界也有诸多应用。本文从最基础的多任务学习开始,梳理了近几年来7篇多任务学习顶会相关工作,包括Hard/Soft Parameter Sharing、参数共享+门控、学习参数共享方式等建模方式。

    01

    Deblurring with Parameter Selective Sharing and Nested Skip Connections

    动态场景去模糊是一项具有挑战性的低水平视觉任务,其中空间变异模糊是由相机抖动和物体运动等多种因素造成的。最近的研究取得了重大进展。通过与参数无关方案和参数共享方案的比较,提出了一种通用的、有效的选择性共享方案,给出了约束去模糊网络结构的一般原则。在每个尺度的子网中,我们提出了一种非线性变换模块的嵌套跳跃连接结构来代替堆叠的卷积层或剩余块。此外,我们建立了一个新的大的模糊/锐化图像对数据集,以获得更好的恢复质量。综合实验结果表明,本文提出的参数选择共享方案、嵌套式跳跃连接结构和新数据集对建立动态场景去模糊新技术具有重要意义。

    01

    ICCV 2019 | 加一个任务路由让数百个任务同时跑起来,怎么做到?

    传统的多任务(MTL)学习方法依赖于架构调整和大型可训练参数集来联合优化多个任务。但是,随着任务数的增多,体系结构调整和资源需求的复杂性也随之增加。在本文中,作者引入了一种新方法,该方法在卷积激活层上应用条件特征的智能转换,使模型能够成功地执行多个任务。为了和常规的多任务学习做区分,本文引入了Many Task Learning (MaTL)作为特例。MaTL的特殊之处在于它指代一个模型能完成超过20个任务。伴随MaTL任务,作者引入了任务路由(TR)的方法并将其封装在一个称为任务路由层(TRL)的层中,使得一个模型能适合数百个分类任务。

    01
    领券