开发 | 手把手教你用 TensorFlow 实现文本分类(上)

由于需要学习语音识别,期间接触了深度学习的算法。利用空闲时间,想用神经网络做一个文本分类的应用, 目的是从头到尾完成一次机器学习的应用,学习模型的优化方法,同时学会使用主流的深度学习框架(这里选择tensorflow)。

文章分为两部分,本文仅实现流程,用简单的softmax回归对文本进行分类,后面一篇文章再从流程的各个方面对模型进行优化,达到比较好的效果。

收集数据

该部分不是这里的重点,数据从各大新闻网站爬取新闻文本,分十类保存到本地,包括科技、生活、体育、娱乐等。文本分别保存到training_set和testing_set目录下,如:

$ tree -L 1 training_set/ training_set/ ├── 10_hel ├── 1_ent ├── 2_fin ├── 3_spo ├── 4_tec ├── 5_mil ├── 6_soc ├── 7_lif ├── 8_cul └── 9_car

文本以text_id.txt的格式保存在不同类的目录下(如text_1234.txt)。本例保存了共113673个训练文本和等数量的测试文本(暂时按1:1的比例)。

预处理文本

step0

为方便后面处理,预处理文本首先要分别针对训练文本和测试文本生成唯一的文本ID, 这里用 {class_id}{text_type}{text_id}.txt 来标示唯一文本,class_id为类的id,这里为1-10;text_type为数据类型包括train和test;text_id为类文件夹下的文本id,实现函数:

def get_unique_id(self, data_dir): """ get flie unique id famate as {class_id}_type_{text_id}.txt. data_dir is the full path of file e.g ./training_set/4_tec/4_tec_text/text_2001.txt where "training" is type, "4" is file class, and "2001" is text id. modify this function to adapt your data dir fomate """ dir_list = data_dir.split("/") class_id = dir_list[2].split("_")[0] text_id = dir_list[4].split(".")[0] type_id = dir_list[1].split("_")[0] return class_id + "_" + type_id + "_" + text_id

step1: 分词

通俗来讲,文本分类的主要思想,是构建各类文本的汉语词典,通过对文本进行分析,观察文本中哪类词汇比较多,由此判断文本所属类别。因此,文本分类需要对文本进行分词操作,可以选择的分词工具很多,这里选择Python编写的jieba开源库对文本进行分词,并以行为单位,将文本保存到输出文件,该部分实现比较简单:

def splitwords(self, data_dir, data_type): if os.path.exists(data_type+".txt"): os.remove(data_type+".txt") list_dirs = os.walk(data_dir) for root, _, files in list_dirs: print root # get all files under data_dir for fp in files: file_path = os.path.join(root, fp) file_id = self.get_unique_id(file_path) #split words for f, save in file ./data_type.txt with nested(open(file_path), open(data_type+".txt", "a+")) as (f1, f2): data = f1.read() #print data seg_list = jieba.cut(data, cut_all=False) f2.write(file_id + " " + " ".join(seg_list).replace("\n", " ")+"\n") print "split word for %s file end." % data_type return

函数传入参数为数据集目录路径,以及数据集类型(train or test)。结果文件保存形如train.txt,后续的操作在该输出文件基础之上。输出文件格式为:<class_{data_type}_id> < words >

step2: 去除停用词

这部分主要删去文本中的停用词,停用词包括一些对于文本分类无用,而且出经常出现的词汇或符号,如“因此”、“关于”、“嘿嘿”、标点符号等。去除停用词需根据停用词典,去除上面经过分词操作的文本中的停用词。停用词典可以根据自己需要生成或在网络上获得,这里后面源码链接中会给出使用的停用词词典。

def rm_stopwords(self, file_path, word_dict): #read stop word dict and save in stop_dict stop_dict = {} with open(word_dict) as d: for word in d: stop_dict[word.strip("\n")] = 1 # remove tmp file if exists if os.path.exists(file_path+".tmp"): os.remove(file_path+".tmp") print "now remove stop words in %s." % file_path # read source file and rm stop word for each line. with nested(open(file_path), open(file_path+".tmp", "a+")) as (f1, f2): for line in f1: tmp_list = [] # save words not in stop dict words = line.split() for word in words[1:]: if word not in stop_dict: tmp_list.append(word) words_without_stop = " ".join(tmp_list) f2.write(words[0] + " " + words_without_stop + "\n") # overwrite origin file with file been removed stop words shutil.move(file_path+".tmp", file_path) print "stop words in %s has been removed." % file_path return

代码中经过简单的按行读文本,然后搜索停用词典,如果文本中的词汇在词典中,则跳过,否则保存。这里每行对应数据集中的一个文本。

step3: 生成词典

上面提到文本分类需要得到能表征各类文本的汉语词典,这部分的主要思路是实现tf_idf算法自动提取关键词,根据词频(TF)和逆文档频率(IDF)来衡量词汇在文章中的重要程度。这里词频的计算采用公式:

由于是衡量某类文本的关键词,公式中的“文章”为某类所有文本的总和。逆文档频率计算采用公式:

上面的文档总数为train数据集所有文本的数目。tf-idf为两个指标的乘积,计算各类文本中所有词汇的tf-idf,由小到大排序,默认取前500个词汇作为该类的关键词保存到词典。最终生成大小为5000的词典。简洁考虑,该部分的关键代码(gen_dict方法中):

for k, text_info in class_dict.items(): #print "class %s has %d words" % (k, text_info.file_num) # get tf in words of class k for w in text_info.wordmap: text_info.tf_idf(w, word_in_files[w], text_num) main_words = [] with open(save_path, "a+") as f: main_words = text_info.get_mainwords() print "class %s : main words num: %d" % (k, len(main_words)) f.write("\n".join(main_words) + "\n")

class_dict是类id到该类文本信息(text_info)的字典,text_info.wordmap保存了该类文本的所有不重复的词汇,text_info.tf_idf方法计算该类文本某词的tf-idf,输入参数为词汇,词汇在整个语料库出现的文本数和语料库的文本数。text_info.get_mainwords方法得到该类本前500个关键词。完整的定义与实现参考源码。

step4: 生成词袋

该部分实现向量化文本,利用生成的词典,以行为单位将去停用词后的文本转换为向量,这里向量为5000维。如果文本出现词典中的某词汇,则文本向量对应词典中该词汇的位置的计数累加。最终生成文件,行数为文本数,列为5000。此外生成对应的label文件,行数为文本数,对应于文本向量文件行,列为1,对应某文本的类别(1-10)。该部分代码比较简单,实现在gen_wordbag方法中。

到此完成了文本的预处理,接下来针对不同分类算法,将有不同的处理,这里参考tensotflow处理MNIST数据集(http://www.tensorfly.cn/tfdoc/tutorials/mnist_beginners.html),读取预处理后的文本到系统,进行线性回归。

读取训练数据

该部分主要包括两部分,一是从磁盘读取向量化后的文本保存到numpy数组,将数据和类别分别存储,数据保存为二维(text_line_num, 5000)的数组,text_line_num为数据集的文本数,5000为词典的维度,也是后面模型输入参数的个数。类别保存为标签向量(label_line_num, 1),label_line_num,同样为数据集的大小。

为方便处理,将类别10的标签保存为0,并对label进行“one_hot”处理,这部分解释可参考上个tensotflow链接。该部分在datasets类中实现。地址https://github.com/zqhZY/textclasser/blob/master/src/datasets.py

需要注意的是这里train部分数据最为cv(cross validation)数据,这里暂时不会用到。此外,由于数据较多,为节省内存,提高整体运算速度,分别读取train数据集和test数据集。dataset类中保存不同类型的数据集,并实现next_batch方法,获取指定数目的数据。

训练数据

该部分利用softmax回归对数据进行训练,对于tensorflow的使用这里不作介绍。完整代码如下:

#!/usr/bin/python #-*-coding:utf-8-*- import tensorflow as tf from datasets import datasets data_sets = datasets() data_sets.read_train_data(".", True) sess = tf.InteractiveSession() x = tf.placeholder(tf.float32, [None, 5000]) W = tf.Variable(tf.zeros([5000, 10])) b = tf.Variable(tf.zeros([10])) y = tf.nn.softmax(tf.matmul(x, W) + b) y_ = tf.placeholder(tf.float32, [None, 10]) cross_entropy = -tf.reduce_sum(y_ * tf.log(y + 1e-10)) train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy) #training tf.global_variables_initializer().run() saver = tf.train.Saver() for i in range(1000): batch_xs, batch_ys = data_sets.train.next_batch(100) train_step.run({x: batch_xs, y_: batch_ys}) print W.eval() print b.eval() path = saver.save(sess, "./model2/model.md")

代码中:

● x : 对于输入数据,None占位符标示输入样本的数量,5000为单个样本的输入维度,对应字典维度。

● W :权重矩阵,行为输入维度,列为输出维度,这里为类别的数目10。

● b : 偏重为10对应输出的维度

● y : 定义训练输出结果,使用softmax作为激励函数,tf.matmul(x, W) + b为输入参数,tf.matmul为矩阵乘。

● y_ : 真实样本的类别,从数据集读入,None占位符标示输入样本的数量,10为输出的维度。

● cross_entropy: 交叉熵,衡量真实值与预测值的偏差程度,训练过程中目的是最小化该值。

训练对cross_entropy进行梯度下降算法更新参数,学习率为0.01。迭代1000次,每次使用100个训练集。最后保存训练的模型到指定目录。

测试模型

这部分主要读取上面保存的模型参数,对测试数据集进行预测,并打印准确率。

!/usr/bin/python #-*-coding:utf-8-*- import tensorflow as tf from datasets import datasets data_sets = datasets() data_sets.read_test_data(".", True) sess = tf.InteractiveSession() x = tf.placeholder(tf.float32, [None, 5000]) W = tf.Variable(tf.zeros([5000, 10])) b = tf.Variable(tf.zeros([10])) y = tf.nn.softmax(tf.matmul(x, W) + b) y_ = tf.placeholder(tf.float32, [None, 10]) saver = tf.train.Saver() saver.restore(sess, "./model2/model.md") # test correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1)) acc = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) print(acc.eval({x: data_sets.test.text, y_: data_sets.test.label}))

小结

直接通过上面过程训练模型,得到的准确率大概为65%,虽然比10%高出许多,仍然属于比较低的准确率。在后面一篇文章重点对上面的过程进行改进,提高预测的准确性。

此外,值得一提的是,一开始,直接参考tensorflow官网给的例子进行训练会出现准确率为0的现象,观察TensorBord,发现权重和偏重一直不更新,打印W和b发现值为Nan,最后找到问题所在:

使用交叉熵作为cost function,由于文本矩阵为严重稀疏矩阵,导致出现y_ tf.log(y)结果为0log0的现象。导致训练参数为Nan,给预测值加一个极小的值,防止与测试为0。

(未完待续)

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-06-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏目标检测和深度学习

如何从零开发一个复杂深度学习模型

深度学习框架中涉及很多参数,如果一些基本的参数如果不了解,那么你去看任何一个深度学习框架是都会觉得很困难,下面介绍几个新手常问的几个参数。 batch 深度学习...

4147
来自专栏人工智能LeadAI

基于Spark /Tensorflow使用CNN处理NLP的尝试

01 前言 关于CNN如何和NLP结合,其实是被这篇文章(http://www.wildml.com/2015/11/understanding-convolu...

3376
来自专栏ATYUN订阅号

马尔可夫链文本生成的简单应用:不足20行的Python代码生成鸡汤文

提到自然语言的生成时,人们通常认为要会使用高级数学来思考先进的AI系统,然而,并不一定要这样。在这篇文章中,我将使用马尔可夫链和一个小的语录数据集来产生新的语录...

2466
来自专栏肖洒的博客

基于OpenCV全景拼接(Python)

翻译自https://www.pyimagesearch.com 基于OpenCV(Python)的图片拼接和全景图构建。“缝合”两张有重叠区域的图来创建一张全...

852
来自专栏机器之心

教程 | 在Python和TensorFlow上构建Word2Vec词嵌入模型

选自adventuresinmachinelearning 机器之心编译 参与:李诗萌、刘晓坤 本文详细介绍了 word2vector 模型的模型架构,以及 T...

3687
来自专栏祝威廉

基于Spark /Tensorflow使用CNN处理NLP的尝试

关于CNN如何和NLP结合,其实是被这篇文章指导入门的 。 我觉得使用CNN去处理一些NLP的分类问题,是非常不错的。

742
来自专栏鸿的学习笔记

写给开发者的机器学习指南(十三)

在我们实际使用支持向量机(SVM)之前,我先简要介绍一下SVM是什么。 基本SVM是一个二元分类器,它通过选取代表数据点之间最大间隔的超平面将数据集分成2部分。...

401
来自专栏崔庆才的专栏

自然语言处理中句子相似度计算的几种方法

1525
来自专栏人工智能LeadAI

一文初探Tensorflow高级API使用(初学者篇)

今天我们要向Tensorflow高级API的学习门槛迈进一步。别听到高级API就觉得是难度高的意思,其实高级API恰恰是为了降低大家的编码难度而设置的。Tens...

4087
来自专栏崔庆才的专栏

自然语言处理中句子相似度计算的几种方法

在做自然语言处理的过程中,我们经常会遇到需要找出相似语句的场景,或者找出句子的近似表达,这时候我们就需要把类似的句子归到一起,这里面就涉及到句子相似度计算的问题...

1813

扫描关注云+社区