Multi-Task Networks With Universe, Group, and Task Feature Learning-阅读笔记

Multi-Task Networks With Universe, Group, and Task Feature Learning

文章将任务区分为三个层次：

1. 单个任务。
2. 任务组（task group）
3. 全体任务（task universe）

提出一些类MTL框架，包含并行网络结构、串行网络结构，在 ATIS, Snips和一个自有大数据集上表现良好。

Parallel MTL Architecture

Group features、Universe features、Task features并行生成。

在这里插入图片描述

• 不同的任务 a, b, c 都会被输入到 Universe Encoder 中，生成 Universe features
• 同一 group 的任务（x1a, x1b 是一个 group，x2c 是另一个），会送到 Group Encoder 中，生成 Group features；
• 每个任务都会被输入到 Task Encoder 中，生成 Task features；
• 每个 Task features 会和 Universe features，Group features 连接，作为 Task Decoder 的输入，得到最后的结果。在这个模型中，三类 feature 是并行生成的。

Serial MTL Architecture

Group features、Universe features、Task features三类特征会又先后顺序生成。

在这里插入图片描述

• Serial: Group features 和 Universe features 并行生成，拼接后输入到 Task encoder 去生成 Task features；
• Serial + Highway：和 a 一样，但是在 Decoder 时，会把 Task features 和前面的 Group features，Universe features 进行拼接；
• Serial + Highway + Swap：先生成 Task features，然后再生成 Group features 和 Universe features，再和 Task features 进行拼接。

Loss

作者加入对抗损失（adversarial loss）和正交限制（orthogonality constraints），来避免 Task Features 在共享空间中： L all  = L tasks  + λ ∗ L adv  + γ ∗ L ortho  \mathcal{L}_{\text {all }}=\mathcal{L}_{\text {tasks }}+\lambda * \mathcal{L}_{\text {adv }}+\gamma * \mathcal{L}_{\text {ortho }} Lall ​=Ltasks ​+λ∗Ladv ​+γ∗Lortho ​ 具体见： 1.Domain Separation Networks 2.Adversarial multi-task learning for text classification

任务主要包含：ner、intent classification.

ner使用BiLSTM+crf

在这里插入图片描述

L t a s k = w S F ∗ L S F + w I C ∗ L I C \mathcal{L}_{\mathrm{task}}=w_{\mathrm{SF}} * \mathcal{L}_{\mathrm{SF}}+w_{\mathrm{IC}} * \mathcal{L}_{\mathrm{IC}} Ltask​=wSF​∗LSF​+wIC​∗LIC​

reference

1. Multi-Task Networks With Universe, Group, and Task Feature Learning
2. Domain Separation Networks
3. Adversarial multi-task learning for text classification