专栏首页NewBeeNLP预训练模型中的可插拔式知识融入——利用Adapter结构

预训练模型中的可插拔式知识融入——利用Adapter结构

作者 | 灰墙 编辑 | NewBeeNLP

写在前面

这些天冲浪?了一下Arxiv,粗翻了一下二月之后public的NLP文章(有很大一部分是准备投ICML的)。也拜读了张驰原dalao的新作《Exploring the Memorization-Generalization Continuum in Deep Learning》(实验真的做的很漂亮,但感觉有点 data-special 不知道能不能推广到 NLP)。

今天来讨论一下段楠老师和周明老师的这篇《K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters》[1]

Adapter

为了讲清楚这篇文章,我们先来看下什么是Adapter

来自论文:Parameter-Efficient Transfer Learning for NLP. ICML 2019.[2]

Motivation

在这个large pre-trained模型盛行的时代,Fine-tune可谓是再正常不过的操作。但实际上 Fine-tune 是一个代价很大的操作,虽然它一般能带来很好的效果。

试想一下,虽然我们用了 Adam 来随机采样一些 train data 来估计全局的梯度,用了很小的 lr.但实际上在每一个 batch 中,对于庞大的预训练模型的每一个参数我们都需要更新。每一个 epoch, 还得存储所有被更新的参数, 完全没有复用性, 这是很低效的。对于低资源的移动端或者高用户特异性的服务提供商 Pass, 这个问题尤为突出。

除了这一点之外:

  • Cloud Service (Pass)
  • 使用 Multi-task 来 fine-tune 时, 如果增加新的任务,则需要重新训练过所有之前的子任务(需要相应的数据).
  • 而使用 连续学习则会在 re-training 的时候遗忘之前学到的知识.
  • 希望能在尽可能减少参数的情况下, 提高性能,接近 Multi-task 的结果.

Detail

于是一个很直观的想法, 能不能把最后的 task-special layer 放到模型中间,然后冻住预训练模型参数.

  • 每一个 Transformer 结构都有两个 Adapter 模块, 嵌在 LN 之前. 12 × 2
  • 预训练的 Bert 参数固定(Attention, FFN, 除了 Layer Normalization 参数不固定)
  • 每个 Adapter 由两个 FFN, 一个非线性函数组成, 和一个残差连接组成.
  • 残差连接用于保证参数随机初始化时,模型输出与预训练模型输出一致.
  • 这样一个 Adapter 模型需要 (dm+m) + (dm+d)参数
  • 而因为 LN 输入发生了较大的变化,在这里对 LN 的参数也进行 fine-tune, 实际上这部分参数量很小(
y=\frac{x-\mathrm{E}[x]}{\sqrt{\operatorname{Var}[x]+\epsilon}} * \gamma+\beta

)

  • 故总共一层 Transformer 需要增加(2dm+3d+m), 这部分与 m 有关, 但总的参数量大概是预训练模型总参数量的 3%左右。

Experiments

在模型的最后一层接一个线性层, 在分类任务 GLUE 和一些额外的分类任务上测试,基本上结果很接近 Fine-tune 的结果.

当然只在比较简单的 Classify Task 上测试, 说服力没有那么强。

Parameters

既然两者结果很接近 是不是 Fine-tune 实际上并不需要更新那么多参数也能有那么好的结果呢?

这部分对比两个 baseline:

  • 只 Fine-tune Top N 层 Transformer 的参数.
  • 只更新 LN 的参数(Ablation)
  • 当我们减少 Fine-tune 层数的时候, 模型的准确率急剧下降;
  • 而 Adapter 则具有很好的鲁棒性;
  • Fine-tune LN 参数基本没用

Does every Adapter layers are significant?

实际上,我们一口气给 24(BERT large)个 Transformer Layer 都加上了 Adapter, 那是不是每一个 Adapter 都很重要?

上述 Ablation 实验结果,我们可以发现:

  • 去除单层 Adapter 基本上对结果没有影响;
  • 低层,尤其是 0-4 层对结果影响不大;
  • 低层蕴含的信息更多是任务通用的,而高层更多是任务特殊的知识;
  • 初始化参数的方差不能过大.

除此之外,还测试了

  • 增加 BN/LN
  • 增加每个 Adapter 的层数
  • 更改不同的激活函数

等等修改,但是发现结果基本没有影响

PALs

来自论文:BERT and PALs: Projected Attention Layers for Efficient Adaptation in Multi-Task Learning.ICML 2019.[3]

同期还有一篇工作也是想尽可能减少 Fine-tune 时参数的更新量, 其将 Task-special Layer 移至 Transformer 两个 LN 之间。

通过先投影到到一个小维度,再连接 Attention 或者其他结构来完成 Fine-tune 的任务.

CS224n 2019 Final Project[4]中有两位同学对上述两种方法在 SQuAD 2.0 上做了相应的测试, 结果显示 PALs 结果掉的有点多, 而 Adapter-BERT 结果很接近 Fine-tune 结果.

K-Adapter

而这篇文章更侧重于改进预训练过程中 Multi-task 这个过程

Motivations

  • 预训练模型中嵌入知识信息是很有必要的.
  • 基于无监督学习的大规模预训练模型更倾向于学习共现信息,而忽略了低频但重要的知识信息。
  • 在推理任务上效果较差, (Not, reasoning task)
  • Multi-task 会造成知识遗忘, 而且参数计算代价是巨大的
  • 先前的 KB-based 的 pre-trained LM 大多是基于 multi-task 的
  • 当融合多种知识的时候 multi-task 代价大,也容易遗忘之前学习过的任务

Details

所以针对上述问题,本文提出了一个 Adapter-based 的模型来解决上述问题.

通过并行的 Adapter 层来获得不同类型的知识信息,最后通过 concatenate 来输出,互不影响.

  • 相对于前面的 Adapter 结构, K-Adapter 将 Transformer 结构直接嵌入到 Adapter Layer 中。
  • 位置结构发生了变化, Adapter-BERT 是直接改造 Transformer 结构,每个 Transformer Layer 都有两个 Adapter Layer; 而 K-Adapter 则将 Adapter 独立出来与 Pre-trained model 平行操作,通过 Concatenate 传递信息, 也不是每层都配有 Adapter Layer, 本文中是在 RoBERTa Large 的第 0, 11, 23 层之后增加有 Adapter 层。
  • 需要的参数量 远小于 RoBERTa Large 模型中 16355M 的参数量.
  • 相同的 skip-connect 为了初始化时的一致性(Concatenate 传递了 Transformer 的输出)
  • Concatenate 前一 Adapter 的输出和当前层 Transformer 的输出作为当前 Adapter 的输入. (Concatenate 在这里会造成维度不一致,既然之后都是线性层,用加也是等效的,还能降低参数量)
  • 单个 knowledge task 的输出是最后一个 Adapter 的输出和最后一个 Transformer 输出 Concatenate 在一起, 记为 .
  • 当有多个 Knowledge 一起融入时, Concatenate 每个 Knowledge 输出的结果 Concate(, , ...).
  • 这篇文章使用了两种 Adapter: 事实 Adapter, 语言 Adapter
  • 事实 Adapter 训练一个关系分类任务。通过判断三元组中 entity 是否存在相应关系来学习关系的知识。数据集是过滤 entity 出现小于 50 次的 T-RE-rc. 因为 Entity 长度不一,利用 Pooling 来对齐. 该任务训练 5epochs, Batch size 为 128.
  • 语言 Adapter 则是完成预测依存关系中父节点 index 这个任务。数据集是利用 Stanford Parser 标注的 Book Corpus。因为是 token-level 的任务,最后过一个线性层输出到相应的分类。该任务训练 10epochs, Batch size 为 256
  • 需要注意的是 Freeze Pre-trained models 参数只在 pre-trained 知识的过程中,当做下游任务的时候还是和以前一样 fine-tune (Adapter 比不过 Fine-tune 石锤呀, 但挪到 Pre-trained 效果还是挺明显的)
  • 与之前的 Adapter-BERT 相比, K-Adapter 相对于卖知识包, 而 Adapter-BERT 则是卖整套服务.

Baselines

实验对比了最近提出的一些列将知识融入预训练模型的方法.

  • ERNIE[5]: 对齐 WikiData 中的三元组到 Wikipedia 的句子中, 将用 TransE 预训练的 entity 信息加入到对应的 token 中.
  • LIBERT[6]: 增加 Lexical Relation Classification(LRC)任务,判断上下谓词.
  • SenseBERT[7]: Mask token 使其预测相应的词及其对应的 supersense(类似一个 POS 再加上细粒度的 entity)
  • KnowBERT[8]: 交替训练 BERT 和 Entity Link 任务(freeze)
  • WKLM[9]: 将实体替换为 WikiData 中相同类型的其他实体.
  • BERT-MK[10]: 结构与 ERNIE 相同, 将 TransE 替换为 GATs.

Experiment

相对于之前那篇 Adapter-BERT, 这篇的实验设计更能说明学习到知识的能力,实验结果也好于之前的工作(原先只是想接近 Fine-tune, 现在是超越)

「1、细粒度实体类型预测」

细粒度对于学习到词的表征要求提高了不少,需要模型能分辨出上下文结构对词义造成的差异.

在Entity周围加上@来表示边界。

「2、常识 QA 和开放域 QA」

印象里,RoREATa 在常识问答中比 BERT Large 能高 10 多个点,对比 Multi-task 的结果虽然提升不是很大,但还是有明显的提升.

「3、关系分类」

问答中在head entity周围加上@来表示边界,tail entity周围加上#

「4、刺探实验: LAMA(常识性填空问答)」

虽然比 RoBERTa 提升明显,但结果低于 BERT Large. 文中解释到, 主要是因为 RoBERTa 使用 byte-level 的 BPE, 而 BERT 使用 char-level 的 BPE.(但为什么之前都都好,就只有这个任务上会)

本文参考资料

[1]

K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters: http://xxx.itp.ac.cn/abs/2002.01808

[2]

Parameter-Efficient Transfer Learning for NLP. ICML 2019.: https://arxiv.org/abs/1902.00751

[3]

BERT and PALs: Projected Attention Layers for Efficient Adaptation in Multi-Task Learning.ICML 2019.: https://arxiv.org/abs/1902.02671

[4]

CS224n 2019 Final Project: http://web.stanford.edu/class/cs224n/reports/default/15848417.pdf

[5]

ERNIE: https://arxiv.org/abs/1905.07129

[6]

LIBERT: https://arxiv.org/abs/1909.02339

[7]

SenseBERT: https://arxiv.org/abs/1908.05646

[8]

KnowBERT: https://arxiv.org/abs/1909.04164

[9]

WKLM: https://arxiv.org/abs/1912.09637

[10]

BERT-MK: https://arxiv.org/abs/1912.00147

- END -

本文分享自微信公众号 - NewBeeNLP(NewBeeNLP),作者:灰墙

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-03-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【NLP保姆级教程】手把手带你RCNN文本分类(附代码)

    之前介绍的都是属于深度神经网络框架的,那么在Deep Learning出现或者风靡之前,文本分类是怎么做的呢?

    NewBeeNLP
  • 文本分类综述 | 迈向NLP大师的第一步(下)

    本系列文章总结自然语言处理(NLP)中最基础最常用的「文本分类」任务,主要包括以下几大部分:

    NewBeeNLP
  • 微软ALUM:当语言模型遇到对抗训练

    本文把对抗训练用到了预训练和微调两个阶段,对抗训练的方法是针对embedding space,通过最大化对抗损失、最小化模型损失的方式进行对抗,在下游任务上取得...

    NewBeeNLP
  • 使用 ConcatAdapter 顺序连接其他 Adapter

    ConcatAdapter 是 recyclerview: 1.2.0-alpha 04 中提供的一个新组件,它可以帮我们顺序地组合多个 Adapter,并让它...

    Android 开发者
  • 猪狗的参考基因组构建索引

    比如搜索dog的:Canis lupus familiaris - Ensembl genome browser 98 就拿到了家犬的参考基因组,实际上狗这个...

    生信技能树
  • 跨浏览器书签导入,更好的管理书签!

    因为种种原因,我们可能会用到多个浏览器,每个浏览器上都会有一部分我们珍藏的书签,那么,是时候整理一下了,来个书签大集合!

    小蓝枣
  • 论文赏析【EMNLP19】语言模型效果不好?也许你可以给它添加一点句法信息

    PaLM: A Hybrid Parser and Language Model[1]

    godweiyang
  • 领导嫌弃可视化太丑?学会这10个高级炫酷图表,胜过一切技巧

    年初最常要做的事情就是各种报告、总结、计划等,所谓一图胜千言,可视化图表如果能用得好,绝对可以做到事半功倍的效果,但是往往领导总是会嫌弃图表做的太丑。

    大数据分析不是事儿
  • 代码版本管理规范

    git 流程模式有两种:一种是Git flow工作流,一种是Github flow工作流。

    机械视角
  • 数据可视化基本套路总结

    真依然很拉风,简书《数据可视化》专栏维护者,里面有很多优秀的文章,本文便是其中一篇。

    生信宝典

扫码关注云+社区

领取腾讯云代金券