使用CNN+ Auto-Encoder 实现无监督Sentence Embedding (代码基于Tensorflow)

1前言

这篇文章会利用到上一篇: 基于Spark /Tensorflow使用CNN处理NLP的尝试的数据预处理部分,也就是如何将任意一段长度的话表征为一个2维数组。

本文完整的代码在这: autoencoder-sentence-similarity.py(https://gist.github.com/allwefantasy/51275cb5c649e4a69b33131e967e2af9#file-autoencoder-sentence-similarity-py)

基本思路是,通过编码解码网络(有点类似微软之前提出的对偶学习),先对句子进行编码,然后进行解码,解码后的语句要和原来的句子尽可能的接近。训练完成后,我们就可以将任意一个句子进行编码为一个向量,这算是Sentence Embedding的一种新的实现。最大的好处是,整个过程无需标注语料,属于无监督类学习。这次我还在编码前引入卷积网络,不过效果有待验证。

2准备工作

我们假设大家已经准备了两个数据集,具体可以参考上一篇文章的Spark预处理部分:

  • 已经分好词的语句
  • 词到vector的字典

然后我们使用如下函数来进行处理:

def next_batch(batch_num, batch_size, word_vec_dict):    
 with open(WORD_FILE) as wf:        
 line_num = 0        
 start_line_num = batch_num * batch_size         
batch_counter = 0        
result = []        
 for words in wf:            
 result1 = []             
line_num += 1             
 if line_num > start_line_num:                 
batch_counter += 1                
 for word in words.split(" "):                    
 if word in word_vec_dict:                        
 result1.append(word_vec_dict[word])                
 if len(result1) < SEQUENCE_LENGTH:                    
 for i in range(SEQUENCE_LENGTH - len(result1)):                         result1.append(np.zeros(shape=(VOCAB_SIZE, 1)).tolist())                
 result.append([str(line_num), result1[0:SEQUENCE_LENGTH]])                 
if batch_counter == batch_size:                    
 return result

字典的格式是: word + 空格 + 100个逗号分隔的数字

文本内容格式是: 通过空格分隔的已经分好词的句子

因为这次测试数据集有点大,所以没办法一次性载入到内存,只能分批了。缺点是,每一次都需要重新打开文件,为了减少打开文件次数,程序后半部分做了一些优化处理,基本方式为,一次性从文件里取batch_size 条数据,然后让Tensorflow 再分 batch_size / mini_train_batch_size 次进行迭代。每次迭代给的样本量还是比较影响效果的,4000和200比,有20%左右的差异。

3构建模型

我尝试了如下两个拓扑,第一个是带卷积的:

Input(段落) -> 卷积 -> 池化 -> 卷积 -> 池化 -> encoder -> encoder -> decoder -> decoder -> lost function (consine夹角)

第二个则是不带卷积:

Input(段落) -> encoder -> encoder -> decoder -> decoder -> lost function (consine夹角)

基本上是两层卷积,两层编解码器。

训练完成后,就获得编码器的所有参数,利用encoder_op 对所有的语句进行编码,从而实现所有语句得到一个唯一的向量(128维)表示。

大概准备了 60多万条语句进行训练,经历了50*60轮迭代后,不带卷积最后loss 大概是从1.1 下降到0.94的样子。如果进行更多迭代,提供更多训练数据,应该可以进一步降低。

带卷积的收敛较快,loss 从0.5 经过3000轮迭代,可以下降到0.1 左右。

因为语料比较隐私,无法提供,但是可以描述下大致的结论,随机找一段话,然后寻找相似的,目前来看,不带卷积的效果非常好,带卷积的因为卷积后信息损失太大,在encoder-decoder阶段感觉无法训练了,最后趋同,因此需要对卷积进行较大调整。关于NLP的卷积,其实我们不一定要保证卷积核的宽度或者高度保持和word embedding的size一样,因为对两个word截取其一般,我认为应该还是有一定的相似度的。

在训练过程中,损失函数我尝试了:

xent =tf.reduce_mean(tf.pow([y_true, y_pred],2), name="xent")

以及

consine = tf.div(tf.reduce_sum(tf.multiply(y_pred, y_true)),                
          tf.multiply(tf.sqrt(tf.reduce_sum(tf.multiply(y_pred, y_pred))),                                      tf.sqrt(tf.reduce_sum(tf.multiply(y_true, y_true)))))         xent = tf.reduce_sum(tf.subtract(tf.constant(1.0), consine))

因为采用欧式距离,我们难以确定相似度的阈值,而cosine是一个比较容易衡量的值。所以这里选择了consine作为损失函数。我没有找到Tensorflow的实现,所以完全根据consine公式自己实现了一个。

对于Optimizer,我尝试了

train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(xent) train_step = tf.train.RMSPropOptimizer(learning_rate).minimize(xent)

目前来看,RMSPropOptimizer效果好很多。

4总结

现阶段大量优秀的人才都投入到了深度学习上,所以深度学习也取得了越来越多的进展,用法也越来越多,尤其是对抗学习,加强学习,对偶学习的发展让深度学习可以做的事情越来越多。深度学习在NLP文本分类,特征抽取方面,我觉得还是有潜力可挖的。不过,我觉得深度学习其实是把机器学习的门槛提的更高了,虽然越来越多的工具(比如Tensorflow)和已知的各种实践似乎在降低某些门槛。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-09-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏xingoo, 一个梦想做发明家的程序员

20120918-向量实现《数据结构与算法分析》

#include <iostream> #include <list> #include <string> #include <vector> #include...

1706
来自专栏拭心的安卓进阶之路

Java 集合深入理解(12):古老的 Vector

今天刮台风,躲屋里看看 Vector ! 都说 Vector 是线程安全的 ArrayList,今天来根据源码看看是不是这么相...

2437
来自专栏Phoenix的Android之旅

Java 集合 Vector

List有三种实现,ArrayList, LinkedList, Vector, 它们的区别在于, ArrayList是非线程安全的, Vector则是线程安全...

662
来自专栏项勇

笔记68 | 切换fragmengt的replace和add方法笔记

1434
来自专栏xingoo, 一个梦想做发明家的程序员

AOE关键路径

这个算法来求关键路径,其实就是利用拓扑排序,首先求出,每个节点最晚开始时间,再倒退求每个最早开始的时间。 从而算出活动最早开始的时间和最晚开始的时间,如果这两个...

2507
来自专栏ml

朴素贝叶斯分类器(离散型)算法实现(一)

1. 贝叶斯定理:        (1)   P(A^B) = P(A|B)P(B) = P(B|A)P(A)   由(1)得    P(A|B) = P(B|...

3417
来自专栏开发与安全

算法:AOV网(Activity on Vextex Network)与拓扑排序

在一个表示工程的有向图中,用顶点表示活动,用弧表示活动之间的优先关系,这样的有向图为顶点表示活动的网,我们称之为AOV网(Activity on Vextex ...

2517
来自专栏拭心的安卓进阶之路

Java 集合深入理解(6):AbstractList

今天心情比天蓝,来学学 AbstractList 吧! ? 什么是 AbstractList ? AbstractList 继承自 AbstractCollec...

19110
来自专栏Hongten

ArrayList VS Vector(ArrayList和Vector的区别)_面试的时候经常出现

1682
来自专栏Java Edge

AbstractList源码解析1 实现的方法2 两种内部迭代器3 两种内部类3 SubList 源码分析4 RandomAccessSubList 源码:AbstractList 作为 Lis

它实现了 List 的一些位置相关操作(比如 get,set,add,remove),是第一个实现随机访问方法的集合类,但不支持添加和替换

422

扫码关注云+社区