Bert完整论文翻译分析
资源地址:https://github.com/yuanxiaosc/BERT_Paper_Chinese_Translation
本资源完整的翻译了论文,并且给出了论文中所有引用资料的网络连接,方便对 BERT 感兴趣的朋友们进一步研究 BERT。
Bert 和 ELMo图解
资源地址:
https://jalammar.github.io/illustrated-bert/
本资源主要对Bert和ELMo这两个模型做了详细的图解对比。
BERT模型在处理基于语言的任务方面打破了几个记录。在描述模型的论文发布后不久,该团队还开放了模型的源代码,并提供了模型的下载版本,这些版本已经在大量数据集上进行了预先培训。这是一个重大的进展,因为它使任何人都可以构建一个包含语言处理的机器学习模型,并将其作为一个随时可用的组件使用——从而节省了从零开始训练语言处理模型所需的时间、精力、知识和资源。
ELMo为NLP的培训提供了重要的一步。ELMo LSTM将使用我们的数据集语言在一个巨大的数据集上进行训练,然后我们可以将它用作需要处理语言的其他模型中的组件。ELMo通过训练预测单词序列中的下一个单词获得了语言理解能力,这项任务称为语言建模。这很方便,因为我们有大量的文本数据,这样的模型可以在不需要标签的情况下学习这些数据。
Bert 中文模型
资源地址:
https://github.com/terrifyzhao/bert-utils
本资源基于Google开源的BERT代码进行了进一步的简化,方便生成句向量与做文本分类 。
1、修改句向量graph文件的生成方式,提升句向量启动速度。不再每次以临时文件的方式生成,首次执行extract_feature.py时会创建tmp/result/graph, 再次执行时直接读取该文件,如果args.py文件内容有修改,需要删除tmp/result/graph文件
2、修复同时启动两个进程生成句向量时代码报错的bug
3、修改文本匹配数据集为QA_corpus,该份数据相比于蚂蚁金服的数据更有权威性。
对8篇Bert相关论文的梳理总结
资源地址:
https://www.msra.cn/zh-cn/news/features/bert
BERT 自从在 arXiv 上发表以来获得了很大的成功和关注,打开了 NLP 中 2-Stage 的潘多拉魔盒。随后涌现了一大批类似于“BERT”的预训练(pre-trained)模型,有引入 BERT 中双向上下文信息的广义自回归模型 XLNet,也有改进 BERT 训练方式和目标的 RoBERTa 和 SpanBERT,还有结合多任务以及知识蒸馏(Knowledge Distillation)强化 BERT 的 MT-DNN 等。除此之外,还有人试图探究 BERT 的原理以及其在某些任务中表现出众的真正原因。以上种种,被戏称为 BERTology。本资源主要对其进行汇总总结。