专栏首页白话NLP【BERT系列】—— 将Tensorflow格式的模型转换为Pytorch格式的模型
原创

【BERT系列】—— 将Tensorflow格式的模型转换为Pytorch格式的模型

BERT为代表的预训练模型是目前NLP领域最火热的方向,但是Google发布的 BERTTensorflow格式的,这让使用pytorch格式 程序猿 们很为难。

为解决这个问题,本篇以BERT为例,介绍将Tensorflow格式的模型转换为Pytorch格式的模型。

1. 工具安装

image.png

使用工具为:Transformers链接),该工具对常用的预训练模型进行封装,可以非常方便的使用 pytorch调用预训练模型。

使用如下命令安装:

pip install transformers

2. 模型转换

  1. 下载google的 BERT 模型;
  2. 使用如下命令进行转换:
export BERT\_BASE\_DIR=/path/to/bert/uncased\_L-12\_H-768\_A-12
transformers bert \
  $BERT\_BASE\_DIR/bert\_model.ckpt \
  $BERT\_BASE\_DIR/bert\_config.json \
  $BERT\_BASE\_DIR/pytorch\_model.bin

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【白话NLP】——为什么需要mask

    通常在训练NLP模型时,batch中的句子长度不相等,这个时候会对没有达到规定长度的句子会进行pad操作(一般用0进行pad),如下图所示(绿色是进行pad的部...

    Dendi
  • 使用pytorch进行文本分类——ADGCNN

    在文本分类任务中常用的网络是RNN系列或Transformer的Encoder,很久没有看到CNN网络的身影(很久之前有TextCNN网络)。本文尝试使用CNN...

    Dendi
  • 依存句法分析

    在依存句法分析中,句子中词与词之间存在一种二元不等价关系: 主从关系。在句子中,如果一个词修饰另一个词,则称修饰词为从属词(dependent),被修饰词成为支...

    Dendi
  • 横扫各项NLP任务的BERT模型有了PyTorch实现!提供转换脚本

    上周,谷歌最强NLP模型BERT开源了官方TensorFlow代码和预训练模型,引起大量关注。

    新智元
  • 理解BERT每一层都学到了什么

    本文解读ACL 2019最新收录的论文:What does BERT learn about the structure of language?

    zenRRan
  • ACL 2019 | 理解 BERT 每一层都学到了什么

    作者是来自于法国Inria机构的Ganesh Jawahar,Benoît Sagot和Djamé Seddah。探索BERT深层次的表征学习是一个非常有必要...

    AI科技评论
  • Gson在java中的简要使用

    最近在把一个数组或字符串转化成对象时,使用了Google的Gson感觉不错,下面我以代码的形式详细举例来介绍

    用户5166556
  • leetcode: 72. Edit Distance

    JNingWei
  • golang向interface{}解析json时把所有的数字都当成float64

    最近发现 golang解析json时把所有的int,float,double等数字,向interface{}解析时都当成float64(当然被双信号包围的数字除...

    xiny120
  • 数据库的事务四大原则

    说到数据库,以前我老师有一句很经典的话。你可以不会写SQL,但是一定不能不知道ACID。

    TechFlow-承志

扫码关注云+社区

领取腾讯云代金券