前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >BERT相关论文、文章和代码资源汇总

BERT相关论文、文章和代码资源汇总

作者头像
AINLP
发布2019-10-10 15:07:33
9770
发布2019-10-10 15:07:33
举报
文章被收录于专栏:AINLPAINLP

BERT最近太火,蹭个热点,整理一下相关的资源,包括Paper, 代码和文章解读。

1、Google官方:

1) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

一切始于10月Google祭出的这篇Paper, 瞬间引爆整个AI圈包括自媒体圈: https://arxiv.org/abs/1810.04805

2) Github: https://github.com/google-research/bert

11月Google推出了代码和预训练模型,再次引起群体亢奋。

3) Google AI Blog: Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing

https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html

2、第三方解读: 1) 张俊林博士的解读, 知乎专栏:从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史

https://zhuanlan.zhihu.com/p/49271699

我们在AINLP微信公众号上转载了这篇文章和张俊林博士分享的PPT,欢迎关注:

2) 知乎: 如何评价 BERT 模型?

https://www.zhihu.com/question/298203515

3) 【NLP】Google BERT详解

https://zhuanlan.zhihu.com/p/46652512

4) [NLP自然语言处理]谷歌BERT模型深度解析

https://blog.csdn.net/qq_39521554/article/details/83062188

5) BERT Explained: State of the art language model for NLP

https://towardsdatascience.com/bert-explained-state-of-the-art-language-model-for-nlp-f8b21a9b6270

3、第三方代码:

1) pytorch-pretrained-BERT:

https://github.com/huggingface/pytorch-pretrained-BERT Google官方推荐的PyTorch BERB版本实现,可加载Google预训练的模型:PyTorch version of Google AI's BERT model with script to load Google's pre-trained models

2) BERT-pytorch:

https://github.com/codertimo/BERT-pytorch 另一个Pytorch版本实现:Google AI 2018 BERT pytorch implementation

3) BERT-tensorflow:

https://github.com/guotong1988/BERT-tensorflow Tensorflow版本:BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

4) bert-chainer:

https://github.com/soskek/bert-chainer Chanier版本: Chainer implementation of "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"

5) bert-as-service:

https://github.com/hanxiao/bert-as-service 将不同长度的句子用BERT预训练模型编码,映射到一个固定长度的向量上:Mapping a variable-length sentence to a fixed-length vector using pretrained BERT model 这个很有意思,在这个基础上稍进一步是否可以做一个句子相似度计算服务?有没有同学一试?

6) bert_language_understanding:

https://github.com/brightmart/bert_language_understanding BERT实战:Pre-training of Deep Bidirectional Transformers for Language Understanding: pre-train TextCNN

7) sentiment_analysis_fine_grain:

https://github.com/brightmart/sentiment_analysis_fine_grain BERT实战,多标签文本分类,在 AI Challenger 2018 细粒度情感分析任务上的尝试:Multi-label Classification with BERT; Fine Grained Sentiment Analysis from AI challenger

8) BERT-NER:

https://github.com/kyzhouhzau/BERT-NER BERT实战,命名实体识别: Use google BERT to do CoNLL-2003 NER !

持续更新,BERT更多相关资源欢迎补充,欢迎关注我们的微信公众号:AINLP

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-11-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AINLP 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档