腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Pytorch实践

深度学习框架Pytorch实践

专栏作者

35

文章

99076

阅读量

40

订阅数

【AAAI 2019 阿里】分层多任务的序列标注方法

序列标注在SLU语义理解具有重要地位，主要用于语义槽的提取，便于机器理解用户query的语义。常见的序列标注方式有Jordan-RNN、BiLSTM-CRF等。为提高序列标注的准确度，加入用户意图的识别任务。

2019-03-17

1.6K0

Huber Loss和Focal Loss的原理与实现

Huber Loss主要用于解决回归问题中，存在奇点数据带偏模型训练的问题；Focal Loss主要解决分类问题中类别不均衡导致的模型训偏问题。

2019-02-18

7K0

微软小冰的设计与实现

chat core policy

小冰设计相关的论文多年来一直没有对外公布，得益于近几年小冰的快速发展，在对话领域形成技术壁垒。与此同时拥有大量的用户和数据，我们才有幸看到如下的文章，开放了一些系统框架和技术细节。

2019-01-19

2.1K0

Tensorflow常见模型及工程化方法

Tensorflow在深度学习模型研究中起到了很大的促进作用，灵活的框架免去了研究人员、开发者大量的自动求导代码工作。本文总结一下常用的模型代码和工程化需要的代码。有需求的同学收藏一下，以便日后查阅。

2018-12-11

1.1K0

迁移学习在自然语言处理领域的应用

迁移学习近年来在图形领域中得到了快速的发展，主要在于某些特定的领域不具备足够的数据，不能让深度模型学习的很好，需要从其它领域训练好的模型迁移过来，再使用该模型进行微调，使得该模型能很好地拟合少量数据的同时又具备较好的泛化能力（不过拟合）。

2018-12-06

5600

Tensorflow实现部分参数梯度更新

在深度学习中，迁移学习经常被使用，在大数据集上预训练的模型迁移到特定的任务，往往需要保持模型参数不变，而微调与任务相关的模型层。本文主要介绍，使用tensorflow部分更新模型参数的方法。

2018-12-04

2.8K0

Tensorflow常见模型及工程化方法

Tensorflow在深度学习模型研究中起到了很大的促进作用，灵活的框架免去了研究人员、开发者大量的自动求导代码工作。本文总结一下常用的模型代码和工程化需要的代码。有需求的同学收藏一下，以便日后查阅。

2018-12-01

1.2K0

迁移学习在自然语言处理领域的应用

机器学习神经网络深度学习人工智能迁移学习

迁移学习近年来在图形领域中得到了快速的发展，主要在于某些特定的领域不具备足够的数据，不能让深度模型学习的很好，需要从其它领域训练好的模型迁移过来，再使用该模型进行微调，使得该模型能很好地拟合少量数据的同时又具备较好的泛化能力（不过拟合）。

2018-12-01

9470

分类问题样本不均衡常见的解决方法

分类时，由于训练集合中各样本数量不均衡，导致模型训偏在测试集合上的泛化性不好。解决样本不均衡的方法主要包括两类：（1）数据层面，修改各类别的分布；（2）分类器层面，修改训练算法或目标函数进行改进。还有方法是将上述两类进行融合。

2018-10-23

4.2K0

Pointer Network

Pointer Network是seq2seq模型的一种变型。seq2seq模型是一种编码-解码框架的端到端生成模型，已经在机器翻译、对话生成、语法改错等领域有了成功的进展。本文不再赘述。此处主要介绍Pointer Network的基本原理和作用。

2018-10-23

2.2K0

nlp文本常见预处理方法

1. 去除标点 2. 圆角转半角 3. 判断是否为unicode的中文 4. 判断是否为英文unicode编码 5. 判断是否为数字的unicode编码 6. 判断是否为常用标点

2018-10-23

1.2K0

AI，又一领域超过人类水平

语法改错是一个大家比较陌生的领域，大致可以认为对英文进行语法改错。给定一句带有语法错误的话，AI对其进行修正得到正确的语法表示。最近微软亚洲研究院给出论文称当前Deep Learning模型已经超过人类水平。具体论文参考（论文地址：https://arxiv.org/abs/1807.01270）

2018-08-15

6260

Beam Search并不是很陌生的算法，它和深度优先算法、广度优先算法一样都曾被使用于树结构的搜索。本文重提Beam Search主要是因为在智能对话生成式模型中，Beam Search被应用在解码过程。而对话系统的生成式模型，本公众号也曾经进行过介绍。本文主要解决如下三个问题： Q1：在生成式对话系统中，为什么会使用Beam Search算法？ Q2： Beam Search的具体原理是什么？ Q3：对话系统中，为生成更好的回复，对Beam Search可以做什么改进？对于Q1，首先就要回顾一下

2018-06-07

1.6K0

人机对话系统回复质量的自动化评估

自动化机器人

对话系统人机对话系统分为任务型对话和非任务型对话系统。对于任务型对话系统的评价，一般采用任务完成的程度来进行评估，例如“导购”机器人，主要看用户是否点击“推荐商品”等来评估。非任务型对话系统，一般是闲聊系统，若是多轮对话，一般使用用户与机器之间进行对话的轮数来评估系统优劣。但是若是单轮对话呢，如何评价机器给出回复的好坏？对于给定一句话的回复，不同的人可以给出不同的答案，只要自圆其说即可，如此开放的回复空间，评价回复的好坏实属困难。而目前并没有什么公认的评价指标可以更好地对对话系统的回复进行评价。很多论文

2018-06-07

3.9K2

RUBER：一种无监督对话系统回复质量的评价方法

对于对话系统的回复质量评价，一直没有很好的方法。之前的文章写过一些评价指标，例如BLEU、PPL、Distinct、ROUGE等。这些指标给出的评估结果与人工评价得出的结果相差很大，并且也不相关。本文介绍一种无监督（不需要标记语料）的回复质量评价方法。 ---- 回复的好坏有几个维度：（1）与问题或对话的话题相关；（2）与该问题的已有回复相似、不能有太大偏差；（3）不能有太多的通用性回复，例如“好的”、“是的”。 ---- RUBER，很好地解决了上述三个问题。RUBER，全称“Referenced

2018-06-07

1K0

游戏推动微信小程序生态，跳一跳小游戏开发

游戏微信小程序

微信小游戏腾空出现，加上腾讯近年来对游戏的发力，这个小小的功能，逐渐触及微信生态。小程序推出的[跳一跳]小游戏，更助力了游戏和小程序在微信中的强势发展。本文为你解密跳一跳游戏开发的主要流程。

2018-06-07

3K2

简单的搜索引擎搭建

搜索引擎编程算法

本文简述一下搜索引擎的搭建过程，具体描述的搜索是文本类型的搜索，而非网页搜索。对于网页搜索的排序，需要有很多考虑，例如pagerank算法，会优先考虑web站点的重要性。文本搜索一般为关键词检索，再根据文本的相似性对搜索得到的文本进行重排序。搜索的方法有很多，排序的方法也有很多，本文介绍最简单的搜索引擎搭建。搜索引擎在互联网信息爆炸的时代起到了重要的作用，帮助我们进行信息过滤、信息抽取等。本文使用百度知道数据进行实验，用户输入Query请求，系统返回最为相近的百度知道问题。数据预先通过web爬虫获取。下面

2018-06-07

1.2K0

一文简述生成式对话

由于AI技术的发展，对话机器人也得到了广泛关注和应用，例如Siri、Alexa等。关于目前的人机对话可以分为两种：任务型对话（辅助购物、导航、商场指示、天气询问、病情询问等），非任务式对话（聊天等）。任务型对话的实现需要针对特定任务定义大量Intention,并对不同的Intention定义不同的Action，一般不需要太多数据。本文主要关注于非任务型对话系统的构建，目前主流方法是基于深度学习的生成式模型。 Seq2Seq模型 Seq2Seq模型是目前做生成对话的主流模型。模型源于机器翻译，机器翻译将一种源

2018-04-16

2.5K0

机器是如何做阅读理解的？

机器阅读理解斯坦福有个很重要的比赛，就是让机器完成阅读理解题目，即给定一篇文章，让机器理解文章含义进行题目回复。每年这一比赛都是国际性的，引来了业界、学术界的广泛关注。其中微软、谷歌、腾讯、阿里等大型互联网公司每年都有参与。本文将从技术的角度，深入浅出、以口语性质的方式给大家传递机器进行阅读理解的过程。 SQuAD比赛简介 SQuAD全称是"Stanford Question Answering Dataset",是用于机器阅读理解的一款数据集，也是斯坦福大学主办的机器阅读理解比赛。目前该数据集，有500

2018-04-16

2.2K0

Pytorch实现skip-gram模型训练word2vec

对于词语的表示，最开始采用one-hot编码，用于判断文本中是否具有该词语；后来发展使用Bag-of-Words，使用词频信息对词语进行表示；再后来使用TF-IDF根据词语在文本中分布情况进行表示。而近年来，随着神经网络的发展，分布式的词语表达得到大量使用，word2vec就是对词语进行连续的多维向量表示。区别于其它神经网络对词语embedding表示，Mikolov的word2vec非常漂亮，直接采用单层神经网络（或理解为sigmoid函数）对词语进行表示。具体的方法有两种CBOW和Skip-gram，

2018-04-08

1.4K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态