「NLP」关于BERT预训练模型资源分享（上）

Bert完整论文翻译分析

资源地址：https://github.com/yuanxiaosc/BERT_Paper_Chinese_Translation

本资源完整的翻译了论文，并且给出了论文中所有引用资料的网络连接，方便对 BERT 感兴趣的朋友们进一步研究 BERT。

1. 原文 BERT论文名字: Pre-training of Deep Bidirectional Transformers for Language Understanding，这是BERT在2018年11月发布的版本，与2019年5月版本v2有稍许不同。
2. 完整内容查看本资源中的 Bidirectional Encoder Representations Transformers翻译.md；
3. 本资源支持BERT论文翻译 PDF版下载；

Bert 和 ELMo图解

资源地址：

https://jalammar.github.io/illustrated-bert/

本资源主要对Bert和ELMo这两个模型做了详细的图解对比。

BERT模型在处理基于语言的任务方面打破了几个记录。在描述模型的论文发布后不久，该团队还开放了模型的源代码，并提供了模型的下载版本，这些版本已经在大量数据集上进行了预先培训。这是一个重大的进展，因为它使任何人都可以构建一个包含语言处理的机器学习模型，并将其作为一个随时可用的组件使用——从而节省了从零开始训练语言处理模型所需的时间、精力、知识和资源。

ELMo为NLP的培训提供了重要的一步。ELMo LSTM将使用我们的数据集语言在一个巨大的数据集上进行训练，然后我们可以将它用作需要处理语言的其他模型中的组件。ELMo通过训练预测单词序列中的下一个单词获得了语言理解能力，这项任务称为语言建模。这很方便，因为我们有大量的文本数据，这样的模型可以在不需要标签的情况下学习这些数据。

Bert 中文模型

资源地址：

https://github.com/terrifyzhao/bert-utils

本资源基于Google开源的BERT代码进行了进一步的简化，方便生成句向量与做文本分类 。

1、修改句向量graph文件的生成方式，提升句向量启动速度。不再每次以临时文件的方式生成，首次执行extract_feature.py时会创建tmp/result/graph， 再次执行时直接读取该文件，如果args.py文件内容有修改，需要删除tmp/result/graph文件

2、修复同时启动两个进程生成句向量时代码报错的bug

3、修改文本匹配数据集为QA_corpus，该份数据相比于蚂蚁金服的数据更有权威性。

对8篇Bert相关论文的梳理总结

资源地址：

https://www.msra.cn/zh-cn/news/features/bert

BERT 自从在 arXiv 上发表以来获得了很大的成功和关注，打开了 NLP 中 2-Stage 的潘多拉魔盒。随后涌现了一大批类似于“BERT”的预训练（pre-trained）模型，有引入 BERT 中双向上下文信息的广义自回归模型 XLNet，也有改进 BERT 训练方式和目标的 RoBERTa 和 SpanBERT，还有结合多任务以及知识蒸馏（Knowledge Distillation）强化 BERT 的 MT-DNN 等。除此之外，还有人试图探究 BERT 的原理以及其在某些任务中表现出众的真正原因。以上种种，被戏称为 BERTology。本资源主要对其进行汇总总结。