PyTorch简明笔记3-神经网络的基本组件

不断地被人安利PyTorch，终于忍不住诱惑决定入坑了。

当我翻看PyTorch官网的时候，一下子就爱上了它那清晰的文档和友好的入门指南。所以决定好好地系统性地把PyTorch学一学。所以，记一份适合自己的更加清晰简明的笔记，把基础打牢固，就很有必要了。

这份笔记的目的，主要是方便随时查阅，不必去看详细的冗长的原始文档。也方便跟我一样的小白可以迅速入门，快速实践。同时，我来记录笔记的过程中，也会补充深度学习相关的知识，在学习PyTorch框架的时候，也学习/复习深度学习。

本篇是PyTorch简明笔记第[3]篇.

前言：

PyTorch的中包含了各种神经网络层、激活函数、损失函数等等的类。我们通过来创建对象，搭建网络。

PyTorch中还有，让我们可以通过调用函数的方式，来直接搭建网络，而不用像一样要先创建对象。

我们可以按照自己的习惯，结合上面两种方法，来搭建网络。

一般情况下，对于像Conv层这种需要定义多个参数的时候，我们采用的方式比较方便，而对于参数比较少的，或者不用设置参数的，尤其是一些函数，我们就可以采用来定义。一般我们，这样后面写起来方便一些。

是所有神经网络模型的基本类（basic class），所有的模型都应该是它的子类。

定义模型的方法如下（只是一种形式）：

通过上面的方式定义了模型类之后，我们就可以使用内置的方法来获取模型的参数。我们后面要更新的就是这些参数。

一、常用的神经网络层

这里，我们介绍以下几种layers：

卷积层-Conv2d

全连接层

池化层

Dropout

BatchNorm

1.卷积层（2D）

CLASS

torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)

注意是个类，要创建对象后再使用。

参数中的, , , 的值，可以为int，也可以为tuple。是int的时候，就代表长宽相等。

Input size为(N,C_in,H,W)；

Output size为(N,C_out,H_out,W_out).

其中，N为batch size，即样本数，C为channel数，H为height，W为width。

举例：

2.全连接层/线性层

采用CLASS方式

torch.nn.Linear(in_features, out_features, bias=True)

Input size = (N,∗,in_features)

Output size = (N,∗,out_features)

举例：

3.Pooling（2D）层

采用CLASS方式

torch.nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)

torch.nn.AvgPool2d(kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True)

举例：

采用Function方式：（似乎更简洁）

F.avg_pool2d(input, kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True) Tensor

4.Dropout 层

CLASS

torch.nn.Dropout(p=0.5, inplace=False)

torch.nn.Dropout2d(p=0.5, inplace=False)

前者通常接受来自nn.Linear的数据

后者通常接受来自nn.Conv2d的数据

举例：

5.BatchNorm（2D）

CLASS

torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

BN层的主要作用是，通过对数据进行标准化，来加速神经网络的训练。

唯一必须设置的参数 要等于输入数据(N,C,H,W)中的C，就是Channel数。

二、常用的激活函数

采用CLASS方式:

torch.nn.ReLU(inplace=False)

torch.nn.Sigmoid

torch.nn.Tanh

torch.nn.Softmax(dim=None)

这些很简单，就不解释了。举例：

采用Function方式（更简洁）:

三、损失函数

MSE

torch.nn.MSELoss(size_average=None, reduce=None, reduction=’mean’)

Cross-Entropy

torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction=’mean’)

用法也很简单，把预测值（input）和标签值（target）扔进去就行：

这里对Cross-entropy的使用有一点需要注意的地方：

从文档可以看到，这个Target（即label）的值有限制，值的大小需要再[0,C-1]之间。

比如，我们有5个类别，C=5，那么你给的标签值必须在[0,4]之间，不能取其他的数字。

上面的内容列举了最常见的一些layers和functions。我在举例子的时候，主要是采用定义Class的方式，无论是layer还是函数，都是先创建对象，在用对象去进行操作。上面写的每一个，其实在中都有对应，使用起来相当于省掉了创建对象那一步，所以就不赘述了。

下一篇笔记记录如何使用上面的这些组件，去搭建神经网络，做一个图片分类模型。