【BERT系列】—— 将Tensorflow格式的模型转换为Pytorch格式的模型

以BERT为代表的预训练模型是目前NLP领域最火热的方向，但是Google发布的 BERT 是Tensorflow格式的，这让使用pytorch格式 程序猿 们很为难。

为解决这个问题，本篇以BERT为例，介绍将Tensorflow格式的模型转换为Pytorch格式的模型。

1. 工具安装

image.png

使用工具为：Transformers（链接），该工具对常用的预训练模型进行封装，可以非常方便的使用 pytorch调用预训练模型。

使用如下命令安装：

pip install transformers

2. 模型转换

1. 下载google的 BERT 模型；
2. 使用如下命令进行转换：

export BERT\_BASE\_DIR=/path/to/bert/uncased\_L-12\_H-768\_A-12
transformers bert \
  $BERT\_BASE\_DIR/bert\_model.ckpt \
  $BERT\_BASE\_DIR/bert\_config.json \
  $BERT\_BASE\_DIR/pytorch\_model.bin