腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

AI小白入门

专栏作者

163

文章

194219

阅读量

36

订阅数

【NLP】ACL2020表格预训练工作速览

NLP 服务 sql 数据库

近年来预训练语言模型(BERT、ERNIE、GPT-3)迅速发展，促进了NLP领域各种任务上的进步，例如阅读理解、命名实体识别等任务。但是目前的这些预训练模型基本上都是在通用文本上进行训练的，在需要一些需要对结构化数据进行编码的任务上（如Text-to-SQL、Table-to-Text），需要同时对结构化的表格数据进行编码，如果直接采用现有的BERT等模型，就面临着编码文本与预训练文本形式不一致的问题。

2020-08-27

5.7K0

【NLP】ACL2020表格预训练工作速览

NLP 服务 sql 数据库

近年来预训练语言模型(BERT、ERNIE、GPT-3)迅速发展，促进了NLP领域各种任务上的进步，例如阅读理解、命名实体识别等任务。但是目前的这些预训练模型基本上都是在通用文本上进行训练的，在需要一些需要对结构化数据进行编码的任务上（如Text-to-SQL、Table-to-Text），需要同时对结构化的表格数据进行编码，如果直接采用现有的BERT等模型，就面临着编码文本与预训练文本形式不一致的问题。

2020-08-27

5.7K0

【NLP】通俗易懂的Attention、Transformer、BERT原理详解

机器学习神经网络深度学习人工智能 NLP 服务

网上关于这部分内容的好文章数不胜数，都讲的特别的详细，而今天我写这篇博客的原因，一是为了加深对这部分知识的理解，二是希望博客内容能够更多的关注一些对于和我一样的新同学难以理解的细节部分作一些自己的描述，三也是为了写一下我自己的一些思考，希望能和更多的人交流。这篇文章主要内容不在于原理的详细描述，期望的是对那些原理有了整体的认识，但是总是感觉似懂非懂的朋友们有所帮助。所以内容偏向于可能对于大佬来说很简单，但是对于刚刚接触NLP的朋友来说可能不了解的部分。希望有缘的朋友看到不吝赐教。

2020-08-27

2.1K0

【NLP】打破BERT天花板：11种花式炼丹术刷爆NLP分类SOTA！

NLP 服务监督学习迁移学习机器学习神经网络

在2020这个时间节点，对于NLP分类任务，我们的关注重点早已不再是如何构造模型、拘泥于分类模型长什么样子了。如同CV领域当前的重点一样，我们更应该关注如何利用机器学习思想，更好地去解决NLP分类任务中的低耗时、小样本、鲁棒性、不平衡、测试检验、增量学习、长文本等问题。

2020-08-27

2K0

BERT适应业务遇难题？这是小米NLP的实战探索

中文分词 NLP 服务深度学习

近年来，预训练模型在自然语言处理（Natural Language Processing, NLP）领域大放异彩，其中最重要的工作之一就是 Google 于 2018 年发布的 BERT 预训练模型 [1]。自被发布以来，BERT 预训练模型就在多项自然语言理解任务上取得了优异的效果，并开启了预训练-微调的 NLP 范式时代，启发了 NLP 领域后续一系列的预训练模型工作。与此同时，BERT 模型在 NLP 相关工业领域也得到了广泛应用，并取得了良好的效果。但由于工业领域相关业务的数据格式的复杂性，以及工业应用对推理性能的要求，BERT 模型往往不能简单直接地被应用于 NLP 业务之中，需要根据具体场景和数据对 BERT 模型加以调整和改造，以适应业务的现实需求。

2020-05-04

6910

【Pre-Training】XLNet：预训练最强，舍我其谁

tcp/ip NLP 服务

今天学习的是谷歌大脑的同学和 CMU 的同学的论文《XLNet: Generalized Autoregressive Pretraining for Language Understanding》，于 2019 年发表于 NIPS，目前引用超 300 次。

2020-04-22

8580

【Pre-Training】BERT：一切过往，皆为序章

今天我们学习的是谷歌的同学 2018 年的论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》，目前引用量超 3800 次。

2020-04-20

1.2K0

【NLP】XLNet详解

https 网络安全 linux NLP 服务

BERT本身很有效，但它也存在一些问题，比如不能用于生成、以及训练数据和测试数据的不一致（Discrepancy）。在本文中，我们重点介绍比BERT更强大的预训练模型XLNet，它为了达到真正的双向学习，采用了Permutation语言模型、以及使用了双流自注意力机制，并结合了Transformer-XL的相对位置编码。

2020-03-13

1.1K0

【NLP实战】手把手带你CNN文本分类

本文是对经典论文《Convolutional Neural Networks for Sentence Classification[1]》的详细复现，(应该是)基于TensorFlow 1.1以及python3.6。从数据预处理、模型搭建、模型训练预测以及可视化一条龙讲解，旨在为刚接触该领域不知道如何下手搭建网络的同学提供一个参考。废话不说直接进入主题吧

2020-02-27

8630

【漫画AI】一文了解人工智能的三大领域及其工业应用

NLP 服务语音识别图像处理自动驾驶无人驾驶

人工智能是一门新兴的技术学科，它研究和开发用于模拟人类智能的扩展和扩展的理论、方法、技术和应用系统。人工智能研究的目标是让机器执行一些复杂的任务，这些任务需要聪明的人来完成。也就是说，我们希望机器可以代替我们来解决一些复杂的任务，不仅仅是重复的机械活动，而是一些需要人类智慧才能参与的任务。在本文中，我将解释人工智能技术的三个主要方向，即语音识别，计算机视觉和自然语言处理。

2020-02-26

1.3K0

【NLP】NLP的12种后BERT预训练方法

机器翻译 NLP 服务

论文：A Robustly Optimized BERT Pretraining Approach.

2020-02-24

8610

【NLP】NLP的12种后BERT预训练方法

机器翻译 NLP 服务

论文：A Robustly Optimized BERT Pretraining Approach.

2020-02-24

8610

【NLP】把BERT的推断速度提升17倍

tensorflow pytorch NLP 服务 c++

微软刚刚开源了Transformer的突破性优化，大大提升了CPU和GPU上的推理速度。

2020-02-21

3.9K0

【NLP】从word2vec, ELMo到BERT

NLP 服务机器学习神经网络深度学习人工智能

还记得不久之前的机器阅读理解领域，微软和阿里在SQuAD上分别以R-Net+和SLQA超过人类，百度在MS MARCO上凭借V-Net霸榜并在BLEU上超过人类。这些网络可以说一个比一个复杂，似乎“如何设计出一个更work的task-specific的网络"变成了NLP领域政治正确的研究方向。而在这种风向下，不管word2vec也好，glove也好，fasttext也好，都只能充当一个锦上添花的作用。说好的迁移学习、预训练呢？在NLP似乎始终没成主角。

2020-02-21

8550

【NLP实战】XLNet只存在于论文？已经替你封装好了！

NLP 服务 github git 开源 https

相信前段时间大家都被各种XLNet的解读、解析轰炸了吧。好容易熬过了学会了，到网上一搜，诶！官方没有公布中文预训练模型，其他大佬都还没动静，散了散了，追ALBERT的热点去了。

2020-02-20

1.8K3

【DL】2020 年了，深度学习接下来到底该怎么走？

NLP 服务强化学习监督学习深度学习编程算法

在过去的一年，深度学习技术在各个领域一如既往地取得了不少进展。然而当前深度学习技术（本文中称为深度学习1.0）仍然存在着一些明显的局限，例如在解决有意识任务方面的不足。那么针对这些局限性，在未来的一年，有哪些可能的解决方案？深度学习又会在哪些方面带来有希望的突破？

2020-02-20

3850

【NLP】在 NLP 领域创业，真的很难

NLP 服务机器学习神经网络深度学习人工智能

从 2015 年开始，在 AI 领域创业的公司如雨后春笋一般林立而起。如果细分的话，可以分为机器学习ML，图像视觉CV，和自然语言处理NLP。当然，理论上来说，CV 和 NLP 也是属于 ML 范围的。

2020-02-20

6130

【NLP】T5 模型：Text-to-Text 预训练模型超大规模探索

相信大多 NLP 相关者，在时隔 BERT 发布近一年的现在，又被谷歌刚发布的 T5 模型震撼到了。又是一轮屠榜，压过前不久才上榜自家的ALBERT，登上 GLUE 榜首。

2019-12-09

7570

【NLP】放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较

机器学习神经网络深度学习人工智能 NLP 服务

在辞旧迎新的时刻，大家都在忙着回顾过去一年的成绩（或者在灶台前含泪数锅），并对 2019 做着规划，当然也有不少朋友执行力和工作效率比较高，直接把 2018 年初制定的计划拷贝一下，就能在 3 秒钟内完成 2019 年计划的制定，在此表示祝贺。2018 年从经济角度讲，对于所有人可能都是比较难过的一年，而对于自然语言处理领域来说，2018 年无疑是个收获颇丰的年头，而诸多技术进展如果只能选择一项来讲的话，那么当之无愧的应该就是BERT模型了。

2019-12-09

6680

【NLP】Facebook提出的预训练模型BART

NLP 服务 tcp/ip 机器翻译

近日，Facebook 发表论文，提出一种为预训练序列到序列模型而设计的去噪自编码器 BART。BART 通过以下步骤训练得到：1）使用任意噪声函数破坏文本；2）学习模型来重建原始文本。BART 使用基于 Transformer 的标准神经机器翻译架构，可泛化 BERT（具备双向编码器）、GPT（具备从左至右的解码器）等近期出现的预训练模型，尽管它非常简洁。Facebook 研究人员评估了多种噪声方法，最终通过随机打乱原始句子的顺序，再使用新型文本填充方法（即用单个 mask token 替换文本段）找出最优性能。

2019-11-25

6.5K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态