机器之心报道
机器之心编辑部
能够灵活地调用各种语言模型,一直是 NLP 研究者的期待。近日 HuggingFace 公司开源了最新的 Transformer2.0 模型库,用户可非常方便地调用现在非常流行的 8 种语言模型进行微调和应用,且同时兼容 TensorFlow2.0 和 PyTorch 两大框架,非常方便快捷。
最近,专注于自然语言处理(NLP)的初创公司 HuggingFace 对其非常受欢迎的 Transformers 库进行了重大更新,从而为 PyTorch 和 Tensorflow 2.0 两大深度学习框架提供了前所未有的兼容性。
更新后的 Transformers 2.0 汲取了 PyTorch 的易用性和 Tensorflow 的工业级生态系统。借助于更新后的 Transformers 库,科学家和实践者可以更方便地在开发同一语言模型的训练、评估和制作阶段选择不同的框架。
那么更新后的 Transformers 2.0 具有哪些显著的特征呢?对 NLP 研究者和实践者又会带来哪些方面的改善呢?机器之心进行了整理。
项目地址:https://github.com/huggingface/transformers
Transformers 2.0 新特性
为所有人提供 SOTA 自然语言处理
更低的计算开销和更少的碳排放量
为模型使用期限内的每个阶段选择正确的框架
现已支持的模型
官方提供了一个支持的模型列表,包括各种著名的预训练语言模型和变体,甚至还有官方实现的一个蒸馏后的 Bert 模型:
1. BERT (https://github.com/google-research/bert)
2. GPT (https://github.com/openai/finetune-transformer-lm)
3. GPT-2 (https://blog.openai.com/better-language-models/)
4. Transformer-XL (https://github.com/kimiyoung/transformer-xl)
5. XLNet (https://github.com/zihangdai/xlnet/)
6. XLM (https://github.com/facebookresearch/XLM/)
7. RoBERTa (https://github.com/pytorch/fairseq/tree/master/examples/roberta)
8. DistilBERT (https://github.com/huggingface/transformers/tree/master/examples/distillation)
快速上手
怎样使用 Transformers 工具包呢?官方提供了很多代码示例,以下为查看 Transformer 内部模型的代码:
#and need to be trained on the down-stream task
Transformers 同时支持 PyTorch 和 TensorFlow2.0,用户可以将这些工具放在一起使用。如下为使用 TensorFlow2.0 和 Transformer 的代码:
sentence_1 = "His findings were compatible with this research.“
使用 py 文件脚本进行模型微调
当然,有时候你可能需要使用特定数据集对模型进行微调,Transformer2.0 项目提供了很多可以直接执行的 Python 文件。例如:
GLUE 任务上进行模型微调
如下为在 GLUE 任务进行微调,使模型可以用于序列分类的示例代码,使用的文件是 run_glue.py。
首先下载 GLUE 数据集,并安装额外依赖:
pip install -r ./examples/requirements.txt
然后可进行微调:
export GLUE_DIR=/path/to/glue
export TASK_NAME=MRPC
python ./examples/run_glue.py \
--model_type bert \
--model_name_or_path bert-base-uncased \
--task_name $TASK_NAME \
--do_train \
--do_eval \
--do_lower_case \
--data_dir $GLUE_DIR/$TASK_NAME \
--max_seq_length 128 \
--per_gpu_eval_batch_size=8 \
--per_gpu_train_batch_size=8 \
--learning_rate 2e-5 \
--num_train_epochs 3.0 \
--output_dir /tmp/$TASK_NAME/
在命令行运行时,可以选择特定的模型和相关的训练参数。
使用 SQuAD 数据集微调模型
另外,你还可以试试用 run_squad.py 文件在 SQuAD 数据集上进行微调。代码如下:
python -m torch.distributed.launch --nproc_per_node=8 ./examples/run_squad.py \
--model_type bert \
--model_name_or_path bert-large-uncased-whole-word-masking \
--do_train \
--do_eval \
--do_lower_case \
--train_file $SQUAD_DIR/train-v1.1.json \
--predict_file $SQUAD_DIR/dev-v1.1.json \
--learning_rate 3e-5 \
--num_train_epochs 2 \
--max_seq_length 384 \
--doc_stride 128 \
--output_dir ../models/wwm_uncased_finetuned_squad/ \
--per_gpu_eval_batch_size=3 \
--per_gpu_train_batch_size=3 \
这一代码可微调 BERT 全词 Mask 模型,在 8 个 V100GPU 上微调,使模型的 F1 分数在 SQuAD 数据集上超过 93。
用模型进行文本生成
还可以使用 run_generation.py 让预训练语言模型进行文本生成,代码如下:
python ./examples/run_generation.py \
--model_type=gpt2 \
--length=20 \
--model_name_or_path=gpt2 \
安装方法
如此方便的工具怎样安装呢?用户只要保证环境在 Python3.5 以上,PyTorch 版本在 1.0.0 以上或 TensorFlow 版本为 2.0.0-rc1。
然后使用 pip 安装即可。
pip install transformers
移动端部署很快就到
HuggingFace 在 GitHub 上表示,他们有意将这些模型放到移动设备上,并提供了一个 repo 的代码,将 GPT-2 模型转换为 CoreML 模型放在移动端。
未来,他们会进一步推进开发工作,用户可以无缝地将大模型转换成 CoreML 模型,无需使用额外的程序脚本。
repo 地址:https://github.com/huggingface/swift-coreml-transformers