NewBeeNLP

82 篇文章
13 人订阅

全部文章

kaiyuan

四万字全面详解 | 深度学习中的注意力机制(三)

目前深度学习中热点之一就是注意力机制(Attention Mechanisms)。Attention源于人类视觉系统,当人类观察外界事物的时候,一般不会把事物当...

4010
kaiyuan

实战必备!文本分类中的一些经验和 tricks

最近在总结之前做的文本分类实验的一些经验和 tricks,同时也参考了网上的一些相关资料(见文末),其中有些 tricks 没尝试过,先在这里记下,或者日后能用...

5020
kaiyuan

什么?!听说你还没看过Transformer源码

Transformer的相关文章现在已经满天飞了,但是配合代码一起讲解的不多。本文基于PaddlePaddle 1.7版本,解析动态图下的Transformer...

5020
kaiyuan

LINE:不得不看的大规模信息网络嵌入

和DeepWalk一样,今天介绍的论文同样是做网络嵌入表示的,但还是有很大区别的。关于DeepWalk,我们已经在之前文章介绍,戳:DeepWalk:图网络与N...

5610
kaiyuan

重磅整理!推荐系统之深度召回模型综述(PART I)

最近读完了李航、何向南的《Deep learning for matching in search and Recommendation》,文章思路清晰,总结详...

6710
kaiyuan

微软ALUM:当语言模型遇到对抗训练

本文把对抗训练用到了预训练和微调两个阶段,对抗训练的方法是针对embedding space,通过最大化对抗损失、最小化模型损失的方式进行对抗,在下游任务上取得...

6420
kaiyuan

我从高级开发者身上学到的19条编码原则

『在代码中用一堆嵌套,花大量时间写出漂亮的代码但最后才发现无法运行,不给任务留缓冲时间…… 』这是很多新手程序员都踩过的雷。在这篇文章中,一位全栈首席开发者总结...

5820
kaiyuan

【CS224N课程笔记】词向量I: 简介, SVD和Word2Vec

课程主页: http://web.stanford.edu/class/cs224n/

7031
kaiyuan

全方位解读 | Facebook的搜索是怎么做的?

今天要和大家分享的论文是来自Facebook的『Embedding based Retrieval in Facebook Search』。

7351
kaiyuan

任务式对话中的自然语言理解

导读:随着人工智能技术的发展,智能对话的应用场景越来越多,目前已经成为了研究的热点。天猫精灵,小度小度,腾讯叮当,这些智能助手都是智能对话在业界的应用。智能助手...

7741
kaiyuan

DeepWalk:图网络与NLP的巧妙融合

最近这段时间一直在做图网络相关,也差不多收尾了,有空整体复盘了下,大致以下几个主题,不过没整理完全哈哈(下次一定

9531
kaiyuan

DeepWalk:图网络与NLP的巧妙融合

最近这段时间一直在做图网络相关,也差不多收尾了,有空整体复盘了下,大致以下几个主题,不过没整理完全哈哈

10520
kaiyuan

机器学习路线图整理

刚接触机器学习的同学可能会认为就是一个『data in,result out』的黑盒,但是深入了解之后会发现每一步骤都是门道。

11320
kaiyuan

概率图模型笔记(PART III)条件随机场简介

前情提要: 概率图模型笔记(PART I) & 概率图模型笔记(PART II)隐马尔科夫模型

7510
kaiyuan

Python中那些低调有趣的模块

python语言上位成功的其中一个原因是其丰富的社区支持,不管你有什么奇奇怪怪的需求,大概率能在网上搜到一个库来便捷实现。这篇文章就列举了几个低调的python...

7220
kaiyuan

Memory Transformer,一种简单明了的Transformer改造方案

Transformer在广泛的自然语言处理和其他任务中非常成功。由于具有自我注意机制,可以训练Transformer层以使用在整个序列上聚合的信息来更新每个元素...

11120
kaiyuan

【作者解读】ERNIE-GEN : 原来你是这样的生成预训练框架!

今年1月,百度发布了全新的生成式预训练模型ERNIE-GEN,我们在之前的一些文章中有过介绍:『芝麻街跨界NLP,没有一个ERNIE是无辜的』、『NLP简报(I...

8210
kaiyuan

模型压缩 | 知识蒸馏经典解读

知识蒸馏是一种模型压缩方法,是一种基于“教师-学生网络思想”的训练方法,由于其简单,有效,在工业界被广泛应用。这一技术的理论来自于2015年Hinton发表的一...

12610
kaiyuan

概率图模型笔记(PART II)隐马尔科夫模型

隐马尔科夫模型(Hidden Markov Model,以下简称HMM)是比较经典的机器学习模型了,它在语音识别,自然语言处理,模式识别等领域得到广泛的应用。那...

7310
kaiyuan

Transformer温故知新

这是之前学习paddle时候的笔记,对Transformer框架进行了拆解,附图解和代码,希望对大家有帮助

8320

扫码关注云+社区

领取腾讯云代金券