【干货】基于注意力机制的seq2seq网络

seq2seq

seq2seq的用途有很多,比如机器翻译,写诗,作曲,看图写文字等等用途很广泛!该模型最早在2014年被Cho和Sutskever先后提出,前者将该模型命名为“Encoder-Decoder Model”也就是编码-解码模型,后者将其命名为“Sequence to Sequence Model”也就是序列到序列模型,两者有一些细节上的差异,但总体大致思想基本相同。

seq2seq根据字面意思来看就是序列到序列,再具体点就是输入一个序列(可以是一句话,一个图片等)输出另一个序列。这里以RNN为基础的机器翻译为例,介绍seq2seq和attention注意力机制。(seq2seq实现的方法有很多,比如MLP,CNN,RNN等)

这是机器翻译的部分数据 (法语->英语):

我们先了解下机器翻译的大致流程:

大致意思就是根据输入的文本,神经网络开始学习和记忆,这个就是所谓的Encoder编码过程;然后根据自己的记忆,把文本一一翻译出来,这个就是所谓的Decoder解码过程。

现在再让我们更进一步了解seq2seq的具体流程:

我来一一讲解这张图的每一个细节:

这个是某个时刻t的RNN隐层单元,R,O代表里面的两个gate,下表E/D代表这个是Encoder/Decoder过程。

这个在Encoder是某个时刻输入词,在Decoder是上一个预测的词。

这个是Encoder的最后一个单元,里面的隐层存着记忆单元呢,Decoder需要根据Encoder的这个记忆单元隐层把帮助自己一个一个的预测词。

所以需要传到个个Decoder中。

下面这个是Decoder的核心过程,拿一次预测举例子:

是上一个预测词,这里是fox。

是上次预测完的记忆单元,

是Encoder的隐藏单元。

的计算方式为,g为一种方法(神经网络中一般为每个参数*W,最后求和输出。下面公式都类似):

是本次,这里是s4,

的计算方式为:

这是简单的理论部分,看看这个实践图吧:

Encoder

Decoder

虽然这个model是GRU,但不光是GRU,LSTM等都可以。

seq2seq就这样讲完了。下面该到注意力机制登上历史舞台!

Attention Mechanism 注意力机制

从字面意思我们能联想到自己的注意力吧。对,就是这样的。每当我们专注学习时,我们的目光会聚焦在正在学的东西上,但是我们眼前不能专注的也不是啥也看不见,仅仅是模糊而已。转移到数学分析下,就是我们专注的占得我们经历的大部分,比如给个数值0.8(满分为1),其他的模糊情景为0.01,0.03,0.07。。。总和为0.2。这个注意力机制就是这样的!在机器翻译中,我们需要一个词一个词的翻译,当我们翻译某个词的时候,我们主要是需要这个词,而其他的词信息用的就是很少了,所以就是说网络把精力大部分放到了将要翻译的这个词了,但是其他也得照顾到,因为翻译一个词需要上下文的意思,比如单复数的写法就需要上下文吧。你看,这个是不是和人的注意力差不多啊。这个也可以从我们生活经常做的例子来说就是你看着手机走路,你的注意力在手机上,但是你也能走路,而且还能避开各种人群(当然,撞树啥的只能怪你给手机分配的注意力太大了QAQ)。

看一下基本的流程图:

这些黄色的深浅代表当翻译每个词的注意力的分配。

具体网络分布图为:

再具体下,以这个例子为例:

Encoder用的是是双向RNN,当RNN单元循环回来的时候都会有一个输出给了你将要翻译的词对应的attend,而此时肯定是它的最下方的词应该是注意力最集中的,所以它对应的权重肯定是最大的。

这里的权重分配公式为:

从最上面下来的是

是第j个Encoder隐层出来的记忆单元。

所有的分打出来后,要做下归一化:

这个跟Softmax差不多。

然后对他们进行求和传送给

这个注意力机制大大提高了机器翻译的能力当然也包括其他的领域。

这次讲完了,你可以休息下消化消化,有问题的随时提问,我们一起进步!


感谢实验室宋阳师姐的讲解以及上面的图来自哈工大社会检索讨论班。

原文发布于微信公众号 - 深度学习自然语言处理(zenRRan)

原文发表时间:2018-03-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏趣学算法

分治法时间复杂度求解秘籍

        分治法的道理非常简单,就是把一个大的复杂的问题分为a(a>1)个形式相同的子问题,这些子问题的规模为n/b,如果分解或者合并的复杂度为f(n),...

5044
来自专栏机器学习算法工程师

Java 机器学习库Smile实战(二)AdaBoost

1. AdaBoost算法简介 Boost 算法系列的起源来自于PAC Learnability(PAC 可学习性)。这套理论主要研究的是什么时候一个问题是可...

3366
来自专栏互联网杂技

机器学习预备知识之概率论(上)

随着Hadoop等处理大数据技术的出现和发展,机器学习也越来越走进人们的视线。其实早在Hadoop之前,机器学习和数据挖掘早已经作为单独的学科而存在,那为什么在...

3636
来自专栏编程之旅

牛顿迭代法与二分法计算平方根

因为不是科班出身,所以即使编程一段时间也时常感觉自身基础知识非常不扎实,于是在最近开始补习算法和计算机理论的基础知识。

2012
来自专栏懒人开发

(2.9)James Stewart Calculus 5th Edition:The Derivative as a Function

这里a是一个固定值, 如果把a看成一个变量,就是一个函数了 对应的过程,可以理解成这个函数的导数 (也就是这个方程的导数)

1154
来自专栏素质云笔记

NLP+2vec︱认识多种多样的2vec向量化模型

1、word2vec 耳熟能详的NLP向量化模型。 Paper: https://papers.nips.cc/paper/5021-distributed...

6327
来自专栏机器学习算法与Python学习

干货 | 自然语言处理(2)之浅谈向量化与Hash-Trick

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 ? 这一系列公开课将由一线技术专家从...

3564
来自专栏利炳根的专栏

学习笔记DL003:神经网络第二、三次浪潮,数据量、模型规模,精度、复杂度,对现实世界冲击

神经科学,依靠单一深度学习算法解决不同任务。视觉信号传送到听觉区域,大脑听学习处理区域学会“看” (Von Melchner et al., 2000) 。

3860
来自专栏机器之心

业界 | 除了自然语言处理,你还可以用Word2Vec做什么?

3716
来自专栏AI2ML人工智能to机器学习

矩阵分解 (加法篇)

类比的看, 我们知道整数的分解可以利用乘法也可以利用加法。譬如我们玩过的游戏24点, 就是利用加法进行分解和整合。 这种分解很重要的是计算上的便利性!

951

扫码关注云+社区

领取腾讯云代金券