腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
AI小白入门
专栏成员
举报
163
文章
205741
阅读量
36
订阅数
订阅专栏
申请加入专栏
全部文章(163)
神经网络(69)
机器学习(64)
深度学习(62)
编程算法(51)
NLP 服务(46)
人工智能(41)
https(30)
网络安全(23)
github(20)
python(16)
git(15)
决策树(8)
监督学习(7)
开源(6)
线性回归(6)
迁移学习(6)
tensorflow(5)
机器翻译(5)
数据挖掘(4)
中文分词(4)
图像处理(4)
强化学习(4)
numpy(4)
pytorch(4)
数据分析(4)
聚类算法(4)
linux(3)
批量计算(3)
知识图谱(3)
腾讯云测试服务(3)
http(3)
卷积神经网络(3)
数据结构(3)
c++(2)
css(2)
matlab(2)
serverless(2)
tcp/ip(2)
无监督学习(2)
layer(2)
语音识别(1)
自动驾驶(1)
javascript(1)
bootstrap(1)
数据库(1)
sql(1)
ide(1)
api(1)
搜索引擎(1)
apache(1)
mapreduce(1)
GPU 云服务器(1)
文件存储(1)
日志服务(1)
电商(1)
容器(1)
存储(1)
无人驾驶(1)
正则表达式(1)
面向对象编程(1)
推荐系统(1)
keras(1)
大数据(1)
架构设计(1)
processing(1)
分类算法(1)
apple(1)
embedding(1)
error(1)
lisp(1)
mapping(1)
mean(1)
policy(1)
position(1)
text(1)
token(1)
volume(1)
word2vec(1)
程序设计(1)
论文(1)
搜索文章
搜索
搜索
关闭
【NLP】ACL2020表格预训练工作速览
NLP 服务
sql
数据库
近年来预训练语言模型(BERT、ERNIE、GPT-3)迅速发展,促进了NLP领域各种任务上的进步,例如阅读理解、命名实体识别等任务。但是目前的这些预训练模型基本上都是在通用文本上进行训练的,在需要一些需要对结构化数据进行编码的任务上(如Text-to-SQL、Table-to-Text),需要同时对结构化的表格数据进行编码,如果直接采用现有的BERT等模型,就面临着编码文本与预训练文本形式不一致的问题。
yuquanle
2020-08-27
5.8K
0
【NLP】ACL2020表格预训练工作速览
NLP 服务
sql
数据库
近年来预训练语言模型(BERT、ERNIE、GPT-3)迅速发展,促进了NLP领域各种任务上的进步,例如阅读理解、命名实体识别等任务。但是目前的这些预训练模型基本上都是在通用文本上进行训练的,在需要一些需要对结构化数据进行编码的任务上(如Text-to-SQL、Table-to-Text),需要同时对结构化的表格数据进行编码,如果直接采用现有的BERT等模型,就面临着编码文本与预训练文本形式不一致的问题。
yuquanle
2020-08-27
5.8K
0
【NLP】通俗易懂的Attention、Transformer、BERT原理详解
机器学习
神经网络
深度学习
人工智能
NLP 服务
网上关于这部分内容的好文章数不胜数,都讲的特别的详细,而今天我写这篇博客的原因,一是为了加深对这部分知识的理解,二是希望博客内容能够更多的关注一些对于和我一样的新同学难以理解的细节部分作一些自己的描述,三也是为了写一下我自己的一些思考,希望能和更多的人交流。这篇文章主要内容不在于原理的详细描述,期望的是对那些原理有了整体的认识,但是总是感觉似懂非懂的朋友们有所帮助。所以内容偏向于可能对于大佬来说很简单,但是对于刚刚接触NLP的朋友来说可能不了解的部分。希望有缘的朋友看到不吝赐教。
yuquanle
2020-08-27
2.3K
0
【NLP】打破BERT天花板:11种花式炼丹术刷爆NLP分类SOTA!
NLP 服务
监督学习
迁移学习
机器学习
神经网络
在2020这个时间节点,对于NLP分类任务,我们的关注重点早已不再是如何构造模型、拘泥于分类模型长什么样子了。如同CV领域当前的重点一样,我们更应该关注如何利用机器学习思想,更好地去解决NLP分类任务中的低耗时、小样本、鲁棒性、不平衡、测试检验、增量学习、长文本等问题。
yuquanle
2020-08-27
2.1K
0
BERT适应业务遇难题?这是小米NLP的实战探索
中文分词
NLP 服务
深度学习
近年来,预训练模型在自然语言处理(Natural Language Processing, NLP)领域大放异彩,其中最重要的工作之一就是 Google 于 2018 年发布的 BERT 预训练模型 [1]。自被发布以来,BERT 预训练模型就在多项自然语言理解任务上取得了优异的效果,并开启了预训练-微调的 NLP 范式时代,启发了 NLP 领域后续一系列的预训练模型工作。与此同时,BERT 模型在 NLP 相关工业领域也得到了广泛应用,并取得了良好的效果。但由于工业领域相关业务的数据格式的复杂性,以及工业应用对推理性能的要求,BERT 模型往往不能简单直接地被应用于 NLP 业务之中,需要根据具体场景和数据对 BERT 模型加以调整和改造,以适应业务的现实需求。
yuquanle
2020-05-04
709
0
【Pre-Training】XLNet:预训练最强,舍我其谁
tcp/ip
NLP 服务
今天学习的是谷歌大脑的同学和 CMU 的同学的论文《XLNet: Generalized Autoregressive Pretraining for Language Understanding》,于 2019 年发表于 NIPS,目前引用超 300 次。
yuquanle
2020-04-22
920
0
【Pre-Training】BERT:一切过往,皆为序章
NLP 服务
今天我们学习的是谷歌的同学 2018 年的论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》,目前引用量超 3800 次。
yuquanle
2020-04-20
1.4K
0
【NLP】XLNet详解
https
网络安全
linux
NLP 服务
BERT本身很有效,但它也存在一些问题,比如不能用于生成、以及训练数据和测试数据的不一致(Discrepancy)。在本文中,我们重点介绍比BERT更强大的预训练模型XLNet,它为了达到真正的双向学习,采用了Permutation语言模型、以及使用了双流自注意力机制,并结合了Transformer-XL的相对位置编码。
yuquanle
2020-03-13
1.3K
0
【NLP实战】手把手带你CNN文本分类
NLP 服务
本文是对经典论文《Convolutional Neural Networks for Sentence Classification[1]》的详细复现,(应该是)基于TensorFlow 1.1以及python3.6。从数据预处理、模型搭建、模型训练预测以及可视化一条龙讲解,旨在为刚接触该领域不知道如何下手搭建网络的同学提供一个参考。废话不说直接进入主题吧
yuquanle
2020-02-27
894
0
【漫画AI】一文了解人工智能的三大领域及其工业应用
NLP 服务
语音识别
图像处理
自动驾驶
无人驾驶
人工智能是一门新兴的技术学科,它研究和开发用于模拟人类智能的扩展和扩展的理论、方法、技术和应用系统。人工智能研究的目标是让机器执行一些复杂的任务,这些任务需要聪明的人来完成。也就是说,我们希望机器可以代替我们来解决一些复杂的任务,不仅仅是重复的机械活动,而是一些需要人类智慧才能参与的任务。在本文中,我将解释人工智能技术的三个主要方向,即语音识别,计算机视觉和自然语言处理。
yuquanle
2020-02-26
1.4K
0
【NLP】NLP的12种后BERT预训练方法
机器翻译
NLP 服务
论文:A Robustly Optimized BERT Pretraining Approach.
yuquanle
2020-02-24
892
0
【NLP】NLP的12种后BERT预训练方法
机器翻译
NLP 服务
论文:A Robustly Optimized BERT Pretraining Approach.
yuquanle
2020-02-24
892
0
【NLP】把BERT的推断速度提升17倍
tensorflow
pytorch
NLP 服务
c++
微软刚刚开源了Transformer的突破性优化,大大提升了CPU和GPU上的推理速度。
yuquanle
2020-02-21
4.3K
0
【NLP】从word2vec, ELMo到BERT
NLP 服务
机器学习
神经网络
深度学习
人工智能
还记得不久之前的机器阅读理解领域,微软和阿里在SQuAD上分别以R-Net+和SLQA超过人类,百度在MS MARCO上凭借V-Net霸榜并在BLEU上超过人类。这些网络可以说一个比一个复杂,似乎“如何设计出一个更work的task-specific的网络"变成了NLP领域政治正确的研究方向。而在这种风向下,不管word2vec也好,glove也好,fasttext也好,都只能充当一个锦上添花的作用。说好的迁移学习、预训练呢?在NLP似乎始终没成主角。
yuquanle
2020-02-21
899
0
【NLP实战】XLNet只存在于论文?已经替你封装好了!
NLP 服务
github
git
开源
https
相信前段时间大家都被各种XLNet的解读、解析轰炸了吧。好容易熬过了学会了,到网上一搜,诶!官方没有公布中文预训练模型,其他大佬都还没动静,散了散了,追ALBERT的热点去了。
yuquanle
2020-02-20
1.9K
3
【DL】2020 年了,深度学习接下来到底该怎么走?
NLP 服务
强化学习
监督学习
深度学习
编程算法
在过去的一年,深度学习技术在各个领域一如既往地取得了不少进展。然而当前深度学习技术(本文中称为深度学习1.0)仍然存在着一些明显的局限,例如在解决有意识任务方面的不足。那么针对这些局限性,在未来的一年,有哪些可能的解决方案?深度学习又会在哪些方面带来有希望的突破?
yuquanle
2020-02-20
407
0
【NLP】在 NLP 领域创业,真的很难
NLP 服务
机器学习
神经网络
深度学习
人工智能
从 2015 年开始,在 AI 领域创业的公司如雨后春笋一般林立而起。如果细分的话,可以分为机器学习ML,图像视觉CV,和自然语言处理NLP。当然,理论上来说,CV 和 NLP 也是属于 ML 范围的。
yuquanle
2020-02-20
637
0
【NLP】T5 模型:Text-to-Text 预训练模型超大规模探索
NLP 服务
相信大多 NLP 相关者,在时隔 BERT 发布近一年的现在,又被谷歌刚发布的 T5 模型震撼到了。又是一轮屠榜,压过前不久才上榜自家的ALBERT,登上 GLUE 榜首。
yuquanle
2019-12-09
838
0
【NLP】放弃幻想,全面拥抱Transformer:自然语言处理三大特征抽取器(CNN/RNN/TF)比较
机器学习
神经网络
深度学习
人工智能
NLP 服务
在辞旧迎新的时刻,大家都在忙着回顾过去一年的成绩(或者在灶台前含泪数锅),并对 2019 做着规划,当然也有不少朋友执行力和工作效率比较高,直接把 2018 年初制定的计划拷贝一下,就能在 3 秒钟内完成 2019 年计划的制定,在此表示祝贺。2018 年从经济角度讲,对于所有人可能都是比较难过的一年,而对于自然语言处理领域来说,2018 年无疑是个收获颇丰的年头,而诸多技术进展如果只能选择一项来讲的话,那么当之无愧的应该就是BERT模型了。
yuquanle
2019-12-09
722
0
【NLP】Facebook提出的预训练模型BART
NLP 服务
tcp/ip
机器翻译
近日,Facebook 发表论文,提出一种为预训练序列到序列模型而设计的去噪自编码器 BART。BART 通过以下步骤训练得到:1)使用任意噪声函数破坏文本;2)学习模型来重建原始文本。BART 使用基于 Transformer 的标准神经机器翻译架构,可泛化 BERT(具备双向编码器)、GPT(具备从左至右的解码器)等近期出现的预训练模型,尽管它非常简洁。Facebook 研究人员评估了多种噪声方法,最终通过随机打乱原始句子的顺序,再使用新型文本填充方法(即用单个 mask token 替换文本段)找出最优性能。
yuquanle
2019-11-25
6.8K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档