pyTorch自然语言处理简单例子

最近在学pyTorch的实际应用例子。这次说个简单的例子:给定一句话,判断是什么语言。这个例子是比如给定一句话:

Give it to me

判断是 ENGLISH

me gusta comer en la cafeteria

判断是 SPANISH

就是这么简单的例子。

来看怎么实现: 准备数据 格式 [(语句,类型),...] data是train的时候用的语句,test_data是test的时候用的语句

data = [ ("me gusta comer en la cafeteria".split(), "SPANISH"), ("Give it to me".split(), "ENGLISH"), ("No creo que sea una buena idea".split(), "SPANISH"), ("No it is not a good idea to get lost at sea".split(), "ENGLISH") ] test_data = [("Yo creo que si".split(), "SPANISH"), ("it is lost on me".split(), "ENGLISH")]

因为文本计算机室识别不出来的,他们只认识01串,也就是数字。所以我们得把文本映射到数字上。

word_to_ix = {}for sent, _ in data + test_data: f

or word in sent:

if word not in word_to_ix: word_to_ix[word] = len(word_to_ix) print(word_to_ix)

输出word_to_ix (意思是word to index)是:

{'me': 0, 'gusta': 1, 'comer': 2, 'en': 3, 'la': 4, 'cafeteria': 5, 'Give': 6, 'it': 7, 'to': 8, 'No': 9, 'creo': 10, 'que': 11, 'sea': 12, 'una': 13, 'buena': 14, 'idea': 15, 'is': 16, 'not': 17, 'a': 18, 'good': 19, 'get': 20, 'lost': 21, 'at': 22, 'Yo': 23, 'si': 24, 'on': 25}

这里先提前设置下接下来要用到的参数

VOCAB_SIZE = len(word_to_ix) NUM_LABELS = 2#只有两类 ENGLISH SPANISH

固定模板

def init(self, num_labels, vocab_size):初始化,就是输入和输出的大小。这里我们要输入是一个句子,句子最大就是拥有所有字典的词,这里也就是vocab_size(下面再说怎么将一句话根据字典转换成一个数字序列的),输出就是分类,这里分为2类,即num_labels。这里我们用的是线性分类 ,即nn.Linear()。

def forward(self, bow_vec):bow_vec是一个句子的数字化序列,经过self.linear()得到一个线性结果(也就是预测结果),之后对这个结果进行softmax(这里用log_softmax是因为下面的损失函数用的是NLLLoss() 即负对数似然损失,需要log以下)

class BoWClassifier(nn.Module):
#nn.Module 这是继承torch的神经网络模板     
def __init__(self, num_labels, vocab_size):         
 super(BoWClassifier, self).__init__()        
self.linear = nn.Linear(vocab_size, num_labels)    
def forward(self, bow_vec):     
   return F.log_softmax(self.linear(bow_vec))
def make_bow_vector(sentence, word_to_ix)

大概能看懂什么意思吧。就是把一个句子sentence通过word_to_ix转换成数字化序列.比如 sentence=我 是 一只 小 小 鸟 word_to_id={你:0,我:1,他:2,不:3,是:4,大:5,小:6,猪:7,鸟:8,,} make_bow_vector之后的结果是[0,1,0,0,1,0,2,0,1] view()就是改变下向量维数。这里是讲len(word_to_ix)1->1len(word_to_ix)

def make_bow_vector(sentence, word_to_ix): vec = torch.zeros(len(word_to_ix)) for word in sentence: vec[word_to_ix[word]] += 1 return vec.view(1, -1)

这个就不用说了吧 一样。(如果想知道torch.LongTensor啥意思的话。可以看看。Torch中,Tensor主要有ByteTensor(无符号char),CharTensor(有符号),ShortTensor(shorts), IntTensor(ints), LongTensor(longs), FloatTensor(floats), DoubleTensor(doubles),默认存放为double类型,如果需要特别指出,通过torch.setdefaulttensortype()方法进行设定。例如torch.setdefaulttensortype(‘torch.FloatTensor’)。 )

def make_target(label, label_to_ix): return torch.LongTensor([label_to_ix[label]])

这里再介绍下model.parameters()这个函数。他的返回结果是model里的所有参数。这里我们用的是线性函数,所以就是f(x)=Ax+b中的A和b(x即输入的数据),这些参数在之后的反馈和更新参数需要的。

model = BoWClassifier(NUM_LABELS, VOCAB_SIZE)
for param in model.parameters():    
print("param:", param)

可以看出A是2len(vocab_size),b是21

param: Parameter containing:Columns 0 to 9 0.0786 0.1596 0.1259 0.0054 0.0558 -0.0911 -0.1804 -0.1526 -0.0287 -0.1086-0.0651 -0.1096 -0.1807 -0.1907 -0.0727 -0.0179 0.1530 -0.0910 0.1943 -0.1148Columns 10 to 19 0.0452 -0.0786 0.1776 0.0425 0.1194 -0.1330 -0.1877 -0.0412 -0.0269 -0.1572-0.0361 0.1909 0.1558 0.1309 0.1461 -0.0822 0.1078 -0.1354 -0.1877 0.0184Columns 20 to 25 0.1818 -0.1401 0.1118 0.1002 0.1438 0.0790 0.1812 -0.1414 -0.1876 0.1569 0.0804 -0.1897

[torch.FloatTensor of size 2x26]param: Parameter containing: 0.1859 0.1245[torch.FloatTensor of size 2]

我们再看看model的def forward(self, bow_vec):怎么用。这里就想下面的代码一样,直接在mode()填一个参数即可,就调用forward函数。

sample = data[0] bow_vector = make_bow_vector(sample[0], word_to_ix) log_probs = model(autograd.Variable(bow_vector))
print("log_probs", log_probs)

输出是:(就是log_softmax后的值)

log_probs Variable containing:-0.6160 -0.7768[torch.FloatTensor of size 1x2]

我们这里看看在test上的预测

label_to_ix = { "SPANISH": 0, "ENGLISH": 1 }
for instance, label in test_data:     
bow_vec = autograd.Variable(make_bow_vector(instance, word_to_ix))     
log_probs = model(bow_vec)    
print log_probsprint next(model.parameters())[:,word_to_ix["creo"]]

结果是

Variable containing:
-0.5431 -0.8698
[torch.FloatTensor of size 1x2]
Variable containing:
-0.7405 -0.6480
[torch.FloatTensor of size 1x2]
Variable containing:
-0.0467  0.1065
[torch.FloatTensor of size 2]

下面就该进行重要的部分了。循环训练和更新参数 这里我们用的损失函数是nn.NLLLoss()负对数似然损失 优化依然用的最常见的optim.SGD() 梯度下降法 一般训练5-30次最终优化基本不再变化

每一步过程: a.首先都要model.zero_grad(),因为接下来要极端梯度,得清零,以防问题 b.将数据向量化(也可以说是数字序列化,转成计算机能看懂的形式) c.得到预测值 d.求损失loss_function e.求梯度loss.backward() f.更新参数optimizer.step()

loss_function = nn.NLLLoss() optimizer = optim.SGD(model.parameters(), lr=0.1)for epoch in range(100): for instance, label in data: model.zero_grad() bow_vec = autograd.Variable(make_bow_vector(instance, word_to_ix)) target = autograd.Variable(make_target(label, label_to_ix)) log_probs = model(bow_vec) loss = loss_function(log_probs, target) loss.backward() optimizer.step()

在测试集上测试

for instance, label in test_data:     
bow_vec = autograd.Variable(make_bow_vector(instance, word_to_ix))     
log_probs = model(bow_vec)   
 print log_probs

我们在结果上很容易看到第一个例子预测是SPANISH最大,第二个是ENGLISH最大。成功了。

Variable containing:-0.0842 -2.5161[torch.FloatTensor of size 1x2]Variable containing:-2.4886 -0.0867[torch.FloatTensor of size 1x2]

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2018-01-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小樱的经验随笔

线性规划之单纯形法【超详解+图解】

1.作用     单纯形法是解决线性规划问题的一个有效的算法。线性规划就是在一组线性约束条件下,求解目标函数最优解的问题。 2.线性规划的一般形式     在约...

1K5
来自专栏SnailTyan

LeNet在caffe中的实现分析

本文主要是对Caffe中mnist数据集上训练的LeNet模型进行结构分析和可视化。 import caffe import numpy as np impor...

2126
来自专栏机器学习算法全栈工程师

史上最详细的XGBoost实战(下)

作者:章华燕 编辑:田 旭 四 XGBoost 参数详解 在运行XGboost之前,必须设置三种类型成熟:general parameters,booster...

8169
来自专栏null的专栏

简单易学的机器学习算法——lasso

一、lasso image.png 二、前向逐步回归    前向逐步回归算法可以得到与lasso差不多的效果,但是前向逐步回归更加简单。这是一种贪心算法,在每一...

3798
来自专栏AI科技评论

开发|简单有趣的 NLP 教程:手把手教你用 PyTorch 辨别自然语言(附代码)

最近在学pyTorch的实际应用例子。这次说个简单的例子:给定一句话,判断是什么语言。这个例子是比如给定一句话: Give it to me 判断是 ENGLI...

2896
来自专栏mathor

条件概率和乘法公式

1264
来自专栏数据科学学习手札

(数据科学学习手札40)tensorflow实现LSTM时间序列预测

  上一篇中我们较为详细地铺垫了关于RNN及其变种LSTM的一些基本知识,也提到了LSTM在时间序列预测上优越的性能,本篇就将对如何利用tensorflow,在...

2984
来自专栏MixLab科技+设计实验室

用谷歌新开源的deeplearnJS预测互补颜色

本文翻译自deeplearnJS的示例教程,并结合了我在学习过程中的理解。 deeplearnJS简介: deeplearn.js是用于机器学习的开源WebGL...

2788
来自专栏开发与安全

算法:图解最小生成树之普里姆(Prim)算法

我们在图的定义中说过,带有权值的图就是网结构。一个连通图的生成树是一个极小的连通子图,它含有图中全部的顶点,但只有足以构成一棵树的n-1条边。所谓的最小成本,就...

2009
来自专栏https://www.cnblogs.com/L

【TensorFlow篇】--Tensorflow框架可视化之Tensorboard

TensorBoard是tensorFlow中的可视化界面,可以清楚的看到数据的流向以及各种参数的变化,本文基于一个案例讲解TensorBoard的用法。

872

扫码关注云+社区