PyTorch简明笔记[3]-神经网络的基本组件（Layers、functions）

不断地被人安利PyTorch，终于忍不住诱惑决定入坑了。 当我翻看PyTorch官网的时候，一下子就爱上了它那清晰的文档和友好的入门指南。所以决定好好地系统性地把PyTorch学一学。所以，记一份适合自己的更加清晰简明的笔记，把基础打牢固，就很有必要了。 这份笔记的目的，主要是方便随时查阅，不必去看详细的冗长的原始文档。也方便跟我一样的小白可以迅速入门，快速实践。同时，我来记录笔记的过程中，也会补充深度学习相关的知识，在学习PyTorch框架的时候，也学习/复习深度学习。 本篇是PyTorch简明笔记第[3]篇.

前言：

PyTorch的torch.nn中包含了各种神经网络层、激活函数、损失函数等等的类。我们通过torch.nn来创建对象，搭建网络。 PyTorch中还有torch.nn.functional，让我们可以通过调用函数的方式，来直接搭建网络，而不用像torch.nn一样要先创建对象。

我们可以按照自己的习惯，结合上面两种方法，来搭建网络。 一般情况下，对于像Conv层这种需要定义多个参数的时候，我们采用torch.nn的方式比较方便，而对于参数比较少的，或者不用设置参数的，尤其是一些函数，我们就可以采用torch.nn.functional来定义。一般我们import torch.nn.functional as F，这样后面写起来方便一些。

torch.nn.Module是所有神经网络模型的基本类（basic class），所有的模型都应该是它的子类。

定义模型的方法如下（只是一种形式）：

# 神经网络模型包：import torch.nn as nn
# 神经网络中的各种函数包：
import torch.nn.functional as F
# 继承nn.Module
class Model(nn.Module): 
    def __init__(self):
        # 调用nn.Module的初始化方法
        super(Model, self).__init__()        
        # 添加该模型的自定义初始化（主要是定义神经网络层）
        self.conv1 = nn.Conv2d(1, 20, 5)
        self.conv2 = nn.Conv2d(20, 20, 5)    
    # 定义模式的输出是怎么计算的
    #（主要写各层之间通过什么激活函数、池化等等来连接）    
    def forward(self, x):
        x = F.relu(self.conv1(x))       
        return F.relu(self.conv2(x))

通过上面的方式定义了模型类之后，我们就可以使用nn.Module内置的.parameters()方法来获取模型的参数。我们后面要更新的就是这些参数。

一、常用的神经网络层

这里，我们介绍以下几种layers：

1. 卷积层-Conv2d
2. 全连接层
3. 池化层
4. Dropout
5. BatchNorm

1.卷积层（2D）

CLASS torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)

• 注意是个类，要创建对象后再使用。
• 参数中的kernel_size, stride, padding, dilation的值，可以为int，也可以为tuple。是int的时候，就代表长宽相等。
• Input size为(N,C_in,H,W)； Output size为(N,C_out,H_out,W_out). 其中，N为batch size，即样本数，C为channel数，H为height，W为width。

举例：

2.全连接层/线性层

采用CLASS方式 torch.nn.Linear(in_features, out_features, bias=True)

• Input size = (N,∗,in_features) Output size = (N,∗,out_features) 举例：

3.Pooling（2D）层

采用CLASS方式 torch.nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False) torch.nn.AvgPool2d(kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True) 举例：

采用Function方式：（似乎更简洁） F.avg_pool2d(input, kernel_size, stride=None, padding=0, ceil_mode=False, count_include_pad=True) → Tensor

4.Dropout 层

CLASS torch.nn.Dropout(p=0.5, inplace=False) torch.nn.Dropout2d(p=0.5, inplace=False)

• 前者通常接受来自nn.Linear的数据
• 后者通常接受来自nn.Conv2d的数据

举例：

5.BatchNorm（2D）

CLASS torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) BN层的主要作用是，通过对数据进行标准化，来加速神经网络的训练。 唯一必须设置的参数num_features 要等于输入数据(N,C,H,W)中的C，就是Channel数。

二、常用的激活函数

采用CLASS方式: torch.nn.ReLU(inplace=False) torch.nn.Sigmoid torch.nn.Tanh torch.nn.Softmax(dim=None) 这些很简单，就不解释了。举例：

采用Function方式（更简洁）:

三、损失函数

MSE torch.nn.MSELoss(size_average=None, reduce=None, reduction=’mean’) Cross-Entropy torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction=’mean’) 用法也很简单，把预测值（input）和标签值（target）扔进去就行：

这里对Cross-entropy的使用有一点需要注意的地方：

从文档可以看到，这个Target（即label）的值有限制，值的大小需要再[0,C-1]之间。 比如，我们有5个类别，C=5，那么你给的标签值必须在[0,4]之间，不能取其他的数字。

上面的内容列举了最常见的一些layers和functions。我在举例子的时候，主要是采用torch.nn定义Class的方式，无论是layer还是函数，都是先创建对象，在用对象去进行操作。上面写的每一个，其实在torch.nn.functional中都有对应，使用起来相当于省掉了创建对象那一步，所以就不赘述了。

下一篇笔记记录如何使用上面的这些组件，去搭建神经网络，做一个图片分类模型。