PyTorch搭建简单神经网络实现回归和分类

2. Numpy与Torch

torch_data = torch.from_numpy(np_data)可以将numpy(array)格式转换为torch(tensor)格式；torch_data.numpy()又可以将torch的tensor格式转换为numpy的array格式。注意Torch的Tensor和numpy的array会共享他们的存储空间，修改一个会导致另外的一个也被修改。

对于1维（1-D）的数据，numpy是以行向量的形式打印输出，而torch是以列向量的形式打印输出的。

其他例如sin, cos, abs,mean等numpy中的函数在torch中用法相同。需要注意的是，numpy中np.matmul(data, data)和data.dot(data)矩阵相乘会得到相同结果；torch中torch.mm(tensor, tensor)是矩阵相乘的方法，得到一个矩阵，tensor.dot(tensor)会把tensor转换为1维的tensor，然后逐元素相乘后求和，得到与一个实数。

3. Variable

PyTorch中的神经网络来自于autograd包，autograd包提供了Tensor所有操作的自动求导方法。

autograd.Variable这是这个包中最核心的类。可以将Variable理解为一个装有tensor的容器，它包装了一个Tensor，并且几乎支持所有的定义在其上的操作。一旦完成运算，便可以调用 .backward()来自动计算出所有的梯度。也就是说只有把tensor置于Variable中，才能在神经网络中实现反向传递、自动求导等运算。

可以通过属性 .data 来访问原始的tensor，而关于这一Variable的梯度则可通过 .grad属性查看。

4. 激励函数activationfunction

Torch的激励函数都在torch.nn.functional中，relu,sigmoid, tanh, softplus都是常用的激励函数。

二、PyTorch实现回归

先看完整代码：

首先创建一组带噪声的二次函数拟合数据，置于Variable中。定义一个构建神经网络的类Net，继承torch.nn.Module类。Net类的构造方法中定义输入神经元、隐藏层神经元、输出神经元数量的参数，通过super()方法获得Net父类的构造方法，以属性的方式定义Net的各个层的结构形式；定义Net的forward()方法将各层的神经元搭建成完整的神经网络前向通路。

定义好Net类后，定义神经网络实例，Net类实例可以直接print打印输出神经网络的结构信息。接着定义神经网络的优化器和损失函数。定义好这些后就可以进行训练了。optimizer.zero_grad()、loss.backward()、optimizer.step()分别是清空上一步的更新参数值、进行误差的反向传播并计算新的更新参数值、将计算得到的更新值赋给net.parameters()。循环迭代训练过程。

三、PyTorch实现简单分类

完整代码：

神经网络结构部分的Net类与前文的回归部分的结构相同。

需要注意的是，在循环迭代训练部分，out定义为神经网络的输出结果，计算误差loss时不是使用one-hot形式的，loss是定义在out与y上的torch.nn.CrossEntropyLoss()，而预测值prediction定义为out经过Softmax后（将结果转化为概率值）的结果。

运行结果：

四、补充知识

1. super()函数

在定义Net类的构造方法的时候，使用了super(Net,self).__init__()语句，当前的类和对象作为super函数的参数使用，这条语句的功能是使Net类的构造方法获得其超类（父类）的构造方法，不影响对Net类单独定义构造方法，且不必关注Net类的父类到底是什么，若需要修改Net类的父类时只需修改class语句中的内容即可。

2. torch.normal()

torch.normal()可分为三种情况：（1）torch.normal(means,std, out=None)中means和std都是Tensor，两者的形状可以不必相同，但Tensor内的元素数量必须相同，一一对应的元素作为输出的各元素的均值和标准差；（2）torch.normal(mean=0.0, std, out=None)中mean是一个可定义的float，各个元素共享该均值；（3）torch.normal(means,std=1.0, out=None)中std是一个可定义的float，各个元素共享该标准差。

3. torch.cat(seq, dim=0)

torch.cat可以将若干个Tensor组装连接起来，dim指定在哪个维度上进行组装。

4. torch.max()

（1）torch.max(input)→ float

input是tensor，返回input中的最大值float。

（2）torch.max(input,dim, keepdim=True, max=None, max_indices=None) -> (Tensor, LongTensor)

同时返回指定维度=dim上的最大值和该最大值在该维度上的索引值。

本文代码 获取：

关注微信公众号 datayx 然后回复 torch 即可获取。