使用CNN+ Auto-Encoder 实现无监督Sentence Embedding (代码基于Tensorflow)

1前言

这篇文章会利用到上一篇: 基于Spark /Tensorflow使用CNN处理NLP的尝试的数据预处理部分,也就是如何将任意一段长度的话表征为一个2维数组。

本文完整的代码在这: autoencoder-sentence-similarity.py(https://gist.github.com/allwefantasy/51275cb5c649e4a69b33131e967e2af9#file-autoencoder-sentence-similarity-py)

基本思路是,通过编码解码网络(有点类似微软之前提出的对偶学习),先对句子进行编码,然后进行解码,解码后的语句要和原来的句子尽可能的接近。训练完成后,我们就可以将任意一个句子进行编码为一个向量,这算是Sentence Embedding的一种新的实现。最大的好处是,整个过程无需标注语料,属于无监督类学习。这次我还在编码前引入卷积网络,不过效果有待验证。

2准备工作

我们假设大家已经准备了两个数据集,具体可以参考上一篇文章的Spark预处理部分:

  • 已经分好词的语句
  • 词到vector的字典

然后我们使用如下函数来进行处理:

def next_batch(batch_num, batch_size, word_vec_dict):    
 with open(WORD_FILE) as wf:        
 line_num = 0        
 start_line_num = batch_num * batch_size         
batch_counter = 0        
result = []        
 for words in wf:            
 result1 = []             
line_num += 1             
 if line_num > start_line_num:                 
batch_counter += 1                
 for word in words.split(" "):                    
 if word in word_vec_dict:                        
 result1.append(word_vec_dict[word])                
 if len(result1) < SEQUENCE_LENGTH:                    
 for i in range(SEQUENCE_LENGTH - len(result1)):                         result1.append(np.zeros(shape=(VOCAB_SIZE, 1)).tolist())                
 result.append([str(line_num), result1[0:SEQUENCE_LENGTH]])                 
if batch_counter == batch_size:                    
 return result

字典的格式是: word + 空格 + 100个逗号分隔的数字

文本内容格式是: 通过空格分隔的已经分好词的句子

因为这次测试数据集有点大,所以没办法一次性载入到内存,只能分批了。缺点是,每一次都需要重新打开文件,为了减少打开文件次数,程序后半部分做了一些优化处理,基本方式为,一次性从文件里取batch_size 条数据,然后让Tensorflow 再分 batch_size / mini_train_batch_size 次进行迭代。每次迭代给的样本量还是比较影响效果的,4000和200比,有20%左右的差异。

3构建模型

我尝试了如下两个拓扑,第一个是带卷积的:

Input(段落) -> 卷积 -> 池化 -> 卷积 -> 池化 -> encoder -> encoder -> decoder -> decoder -> lost function (consine夹角)

第二个则是不带卷积:

Input(段落) -> encoder -> encoder -> decoder -> decoder -> lost function (consine夹角)

基本上是两层卷积,两层编解码器。

训练完成后,就获得编码器的所有参数,利用encoder_op 对所有的语句进行编码,从而实现所有语句得到一个唯一的向量(128维)表示。

大概准备了 60多万条语句进行训练,经历了50*60轮迭代后,不带卷积最后loss 大概是从1.1 下降到0.94的样子。如果进行更多迭代,提供更多训练数据,应该可以进一步降低。

带卷积的收敛较快,loss 从0.5 经过3000轮迭代,可以下降到0.1 左右。

因为语料比较隐私,无法提供,但是可以描述下大致的结论,随机找一段话,然后寻找相似的,目前来看,不带卷积的效果非常好,带卷积的因为卷积后信息损失太大,在encoder-decoder阶段感觉无法训练了,最后趋同,因此需要对卷积进行较大调整。关于NLP的卷积,其实我们不一定要保证卷积核的宽度或者高度保持和word embedding的size一样,因为对两个word截取其一般,我认为应该还是有一定的相似度的。

在训练过程中,损失函数我尝试了:

xent =tf.reduce_mean(tf.pow([y_true, y_pred],2), name="xent")

以及

consine = tf.div(tf.reduce_sum(tf.multiply(y_pred, y_true)),                
          tf.multiply(tf.sqrt(tf.reduce_sum(tf.multiply(y_pred, y_pred))),                                      tf.sqrt(tf.reduce_sum(tf.multiply(y_true, y_true)))))         xent = tf.reduce_sum(tf.subtract(tf.constant(1.0), consine))

因为采用欧式距离,我们难以确定相似度的阈值,而cosine是一个比较容易衡量的值。所以这里选择了consine作为损失函数。我没有找到Tensorflow的实现,所以完全根据consine公式自己实现了一个。

对于Optimizer,我尝试了

train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(xent) train_step = tf.train.RMSPropOptimizer(learning_rate).minimize(xent)

目前来看,RMSPropOptimizer效果好很多。

4总结

现阶段大量优秀的人才都投入到了深度学习上,所以深度学习也取得了越来越多的进展,用法也越来越多,尤其是对抗学习,加强学习,对偶学习的发展让深度学习可以做的事情越来越多。深度学习在NLP文本分类,特征抽取方面,我觉得还是有潜力可挖的。不过,我觉得深度学习其实是把机器学习的门槛提的更高了,虽然越来越多的工具(比如Tensorflow)和已知的各种实践似乎在降低某些门槛。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-09-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Jayden的专栏

机器学习的一些术语

卷积神经网络最初是用来处理多维数组数据,比如,一张由三个2D数组组成、包含三个彩色通道像素强度的彩色图像。大量的数据模式都是多个数组形式:1D用来表示信号和序列...

1110
来自专栏数据派THU

吴恩达deeplearning.ai五项课程完整笔记了解一下?

来源:机器之心 通过本文为大家解读如何构建自然语言、音频和其他序列数据的模型。 自吴恩达发布 deeplearning.ai 课程以来,很多学习者陆续完成了所...

3665
来自专栏目标检测和深度学习

你不得不了解的8种神经网络结构!

机器学习已经在各个行业得到了大规模的广泛应用,并为提升业务流程的效率、提高生产率做出了极大的贡献。目前机器学习主要在以下方面应用: 模式识别:实际场景中的目标、...

4038
来自专栏IT派

深度学习基础+网络模型

文中的链接请点击网址:http://yerevann.com/a-guide-to-deep-learning/ 预备知识 ? 你必须有大学数学知识。你可以在深...

3738
来自专栏机器学习算法与Python学习

必须了解的8种神经网络架构

机器学习已经在各个行业得到了大规模的广泛应用,并为提升业务流程的效率、提高生产率做出了极大的贡献。目前机器学习主要在以下方面应用: 模式识别:实际场景中的目标...

3145
来自专栏人工智能头条

李理:从Image Caption Generation理解深度学习(part II)

2174
来自专栏人工智能头条

深度学习在情感分析中的应用

2593
来自专栏计算机视觉战队

前景目标检测的无监督学习

无监督学习是当今计算机视觉领域最困难的挑战之一。这项任务在人工智能和新兴技术中有着巨大的实用价值,因为可以用相对较低的成本收集大量未标注的视频。

2312
来自专栏专知

【论文笔记】对话模型新方法,条件DialogWAE生成多模态回答

DialogWAE: Multimodal Response Generation with Conditional Wasserstein Auto-Enco...

1722
来自专栏机器之心

入门 | 机器学习研究者必知的八个神经网络架构

35813

扫码关注云+社区