腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

AI小白入门

专栏作者

163

文章

192328

阅读量

36

订阅数

清华大学唐杰教授：人工智能的下个十年

神经网络人工智能编程算法深度学习知识图谱

本文从人工智能发展的历史开始，深入分析人工智能近十年的发展，阐述了人工智能在感知方面取得的重要成果。

2020-10-23

7830

【NLP】ACL2020表格预训练工作速览

NLP 服务 sql 数据库

近年来预训练语言模型(BERT、ERNIE、GPT-3)迅速发展，促进了NLP领域各种任务上的进步，例如阅读理解、命名实体识别等任务。但是目前的这些预训练模型基本上都是在通用文本上进行训练的，在需要一些需要对结构化数据进行编码的任务上（如Text-to-SQL、Table-to-Text），需要同时对结构化的表格数据进行编码，如果直接采用现有的BERT等模型，就面临着编码文本与预训练文本形式不一致的问题。

2020-08-27

5.6K0

【NLP】通俗易懂的Attention、Transformer、BERT原理详解

机器学习神经网络深度学习人工智能 NLP 服务

网上关于这部分内容的好文章数不胜数，都讲的特别的详细，而今天我写这篇博客的原因，一是为了加深对这部分知识的理解，二是希望博客内容能够更多的关注一些对于和我一样的新同学难以理解的细节部分作一些自己的描述，三也是为了写一下我自己的一些思考，希望能和更多的人交流。这篇文章主要内容不在于原理的详细描述，期望的是对那些原理有了整体的认识，但是总是感觉似懂非懂的朋友们有所帮助。所以内容偏向于可能对于大佬来说很简单，但是对于刚刚接触NLP的朋友来说可能不了解的部分。希望有缘的朋友看到不吝赐教。

2020-08-27

2.1K0

【NLP】打破BERT天花板：11种花式炼丹术刷爆NLP分类SOTA！

NLP 服务监督学习迁移学习机器学习神经网络

在2020这个时间节点，对于NLP分类任务，我们的关注重点早已不再是如何构造模型、拘泥于分类模型长什么样子了。如同CV领域当前的重点一样，我们更应该关注如何利用机器学习思想，更好地去解决NLP分类任务中的低耗时、小样本、鲁棒性、不平衡、测试检验、增量学习、长文本等问题。

2020-08-27

2K0

流水的NLP铁打的NER：命名实体识别实践与探索

机器学习神经网络深度学习人工智能

作者：王岳王院长知乎：https://www.zhihu.com/people/wang-yue-40-21 github: https://github.com/wavewangyue 编辑：yuquanle

2020-08-18

4.3K0

【GCN】图神经网络入门（二）

机器学习神经网络深度学习人工智能

除了GCN，还有一种趋势是在传播步骤中使用诸如GRU或LSTM等RNN的门控机制，以减少来自基本GNN模型的限制并提高整个图上的长期信息传播。

2020-07-24

2.5K0

【GCN】图卷积网络入门（一）

机器学习深度学习神经网络人工智能数据结构

图是一种数据结构，可对一组对象（节点）及其关系（边）进行建模。近年来，由于图的强大表达能力，利用机器学习来分析图的研究受到越来越多的关注，即图可以用作包括社会科学（社会网络）在内的各个领域的大量系统的表示图是一种数据结构，可对一组对象（节点）及其关系（边）进行建模。

2020-07-24

1.6K0

【NLP】ACL20 基于对话图谱的开放域多轮对话策略学习

mapping policy volume

论文中提出用图的形式捕捉对话转移规律作为先验信息，用于辅助开放域多轮对话策略学习。为此，研究人员首先从对话语料库中构建了一个对话图谱（Conversational Graph），其中节点表示“What to say”和“How to say”，边表示当前句（对话上文中的最后一个语句）与其回复句之间的自然转换。然后，论文中提出了一个基于对话图的策略学习框架，该框架通过图遍历进行对话流规划，学习在每轮从对话图中识别出一个“What”节点和“How”节点来指导回复生成。

2020-07-01

8600

【NLP】文本生成评价指标的进化与推翻

网络安全 https 机器翻译编程算法

文本生成目前的一大瓶颈是如何客观，准确的评价机器生成文本的质量。一个好的评价指标（或者设置合理的损失函数）不仅能够高效的指导模型拟合数据分布，还能够客观的让人评估文本生成模型的质量，从而进一步推动text generation 商业化能力。

2020-06-24

4.6K0

【NLP】WWW20 关键词生成提升电商会话推荐

推荐系统电商 linux

会话的开始是用户打开电商网站或应用。会话的结束是用户断开连接，或者长时间没响应（通常情况下为20分钟）。图2显示了用户在一个会话内的点击序列。

2020-06-10

1.2K0

147页详述「结构在神经网络中的复兴」，图注意力网络一作博士论文公开

数据结构编程算法神经网络机器学习深度学习

在一项针对 2019 年到 2020 年各大顶会论文关键词的统计中，「图神经网络」的增长速度位列榜首，成为上升最快的话题。

2020-06-04

4170

【ML】回归树算法原理及实现

线性回归编程算法

由于现实中的很多问题是非线性的，当处理这类复杂的数据的回归问题时，特征之间的关系并不是简单的线性关系，此时，不可能利用全局的线性回归模型拟合这类数据。在上一篇文章"分类树算法原理及实现"中，分类树算法可以解决现实中非线性的分类问题，那么本文要讲的就是可以解决现实中非线性回归问题的回归树算法。

2020-05-25

6400

【ML】分类树算法原理及实现

数据分析决策树机器学习神经网络深度学习

机器学习领域中的树模型其实就是结合了数据结构中的二叉树来开展机器学习任务的方法。本文所讲解的分类树为CART树中的一种，而CART树是决策树中的一种，其它还有ID3和C4.5。决策树算法是一类常用的机器学习算法，在分类问题中，决策树算法通过样本中某一维特征属性值的分布，将样本划分到不同的类别中，而这一功能就是基于树形结构来实现的。

2020-05-25

8540

Keras vs PyTorch，哪一个更适合做深度学习？

pytorch keras 深度学习 tensorflow numpy

深度学习有很多框架和库。这篇文章对两个流行库 Keras 和 Pytorch 进行了对比，因为二者都很容易上手，初学者能够轻松掌握。

2020-05-19

1.4K0

BERT适应业务遇难题？这是小米NLP的实战探索

中文分词 NLP 服务深度学习

近年来，预训练模型在自然语言处理（Natural Language Processing, NLP）领域大放异彩，其中最重要的工作之一就是 Google 于 2018 年发布的 BERT 预训练模型 [1]。自被发布以来，BERT 预训练模型就在多项自然语言理解任务上取得了优异的效果，并开启了预训练-微调的 NLP 范式时代，启发了 NLP 领域后续一系列的预训练模型工作。与此同时，BERT 模型在 NLP 相关工业领域也得到了广泛应用，并取得了良好的效果。但由于工业领域相关业务的数据格式的复杂性，以及工业应用对推理性能的要求，BERT 模型往往不能简单直接地被应用于 NLP 业务之中，需要根据具体场景和数据对 BERT 模型加以调整和改造，以适应业务的现实需求。

2020-05-04

6870

【NLP】机器如何生成文本？

https 网络安全 apache css

最近，由于在大规模语料集上训练的大型Transformer-based语言模型的兴起（如著名的OpenAI-GPT2模型），社区对开放式语言生成的兴趣日益增加。GPT2、XLNet、CTRL这些开放式语言生成的结果令人印象深刻，除了得益于优化的transformer架构和大量无监督的训练数据外，「更好的解码方法」也发挥了重要作用。

2020-04-25

4.4K0

【Pre-Training】XLNet：预训练最强，舍我其谁

tcp/ip NLP 服务

今天学习的是谷歌大脑的同学和 CMU 的同学的论文《XLNet: Generalized Autoregressive Pretraining for Language Understanding》，于 2019 年发表于 NIPS，目前引用超 300 次。

2020-04-22

8440

【机器学习】谱聚类

聚类算法编程算法

本文介绍了一种定义在图上聚类算法-谱聚类。首先介绍谱聚类其实是保持图上节点之间的相似性对节点进行向量表示。然后介绍了谱聚类的目标函数-最小化原始相似性矩阵与样本向量表示,相似性的乘积，由此导出谱聚类与拉普拉斯矩阵的关系。最后介绍了谱聚类算法特点，其实际为成对相似性保持（pair-wise）算法。

2020-04-20

7850

【Pre-Training】BERT：一切过往，皆为序章

今天我们学习的是谷歌的同学 2018 年的论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》，目前引用量超 3800 次。

2020-04-20

1.2K0

【机器学习】密度聚类

数据分析编程算法

本文介绍了一种无参的密度聚类算法-DBSCAN。首先介绍了DBSCAN的类表示为一簇密度可达的样本点，相似性度量为密度可达。然后介绍了DBSCAN中几个基本定义： -邻域，核心对象，密度可达，密度直达，噪声点，基于此绍了DBSCAN算法的实现流程。最后介绍了算法的特点，能发现任意簇，抗噪性强，聚类时间长，存在维度灾难问题。

2020-04-18

7030

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态