PyTorch入门笔记-手写数字实战01
PyTorch入门笔记-手写数字实战01
下面来简单回顾上一小节的嵌套非线性模型：
- H_1 = relu(XW_1 + b_1)
- H_2 = relu(H1W_2 + b_2)
- H_3 = f(H_2W_3 + b_3)， 模型最后一层的激活函数不会是 relu 激活函数，需要根据你的具体任务来选择合适的激活函数。比如使用二分类的 Sigmoid 或多分类的 SoftMax（当然多个二分类也可以用于处理多分类）。由于这里只是简单的演示整个训练流程，所以为了简单本小节最后一层不添加任何激活函数。
对 MNIST 手写数字识别进行分类大致分为四个步骤，这四个步骤也是训练大多数深度学习模型的基本步骤：
- 加载数据集（Load data）
- 构建模型（Build Model）
- 训练（Train）
- 测试（Test）
不过在这之前我们需要构建一个 utils.py 文件，其中包含着三个工具方法：
plot_curve(loss_list)方法绘制损失函数曲线；plot_image(x, label, name)方法显示 6 张手写数字图片以及对应的数字标签；one_hot(label, depth = 10)方法将 0~9 的数字编码标签转换为 one-hot 编码的标签。比如将数字编码 5 转换为 one-hot 编码为 [0,0,0,0,1,0,0,0,0,0]（由于此时假设为十个类别，因此 one-hot 编码后的向量维度为 10 维）。
import torch
from matplotlib import pyplot as plt
def plot_curve(loss_list):
"""
根据存放loss值的列表绘制曲线
"""
plt.plot(range(len(loss_list)), loss_list, color = 'blue')
# 添加图例并放置在右上角
plt.legend(['train_loss'], loc = 'upper right')
plt.xlabel('step') # 设置横坐标轴名称
plt.ylabel('train_loss') # 设置纵坐标轴名称
plt.show()
def plot_image(x, label, name):
"""
显示6张手写数字图片以及对应的数字标签
"""
for i in range(6):
plt.subplot(2, 3, i + 1)
plt.tight_layout()
plt.imshow(x[i][0] * 0.3081 + 0.1307, cmap='gray', interpolation='none')
plt.title("{}: {}".format(name, label[i].item()))
plt.xticks([])
plt.yticks([])
plt.show()
def one_hot(label, depth = 10):
'''
将数字编码标签label转换为one-hot编码y
'''
y = torch.zeros(label.size(0), depth)
idx = torch.LongTensor(label).view(-1, 1)
y.scatter_(dim = 1, index = idx, value = 1)
return y加载数据集
MNIST 是比较重要和经典的数据集，目前常用的机器学习和深度学习框架都内置了 MNIST 数据集，通过几行代码就可以自动下载、管理以及加载 MNIST 数据集。基于 PyTorch 有很多工具集，比如：处理自然语言的 torchtext，处理音频的 torchaudio 和 处理图像视频的 torchvision，这些工具集可以独立于 PyTorch 的使用。MNIST 数据集属于图像，我们可以在 torchvision.datasets 包中加载 MNIST。「加载的 MNIST 数据集是 ndarray 数组类型，因此我们需要将其转换成 Tensor。实验证明输入数据在 0 附近均匀分布，神经网络模型会有所提升（在本小节的神经网络模型架构下，对数据进行标准化准确率能够提升 10%），因此我们还需要对 MNIST 数据集进行标准化的转换，torchvision.transforms 包提供了这些转换方法。」
import torchvision
train_data = torchvision.datasets.MNIST('mnist_data', train=True, download=True,
transform=torchvision.transforms.Compose([
torchvision.transforms.ToTensor(),
torchvision.transforms.Normalize(
(0.1307,), (0.3081,))
]))
print(len(train_data)) # 60000
# 训练集中的第1张手写数字图片以及对应的标签
X_train_0, label_train_0 = train_data[0]
print(X_train_0.shape) # torch.Size([1, 28, 28])
print(label_train_0) # 5在 torchvision.datasets 中有很多类似 MNIST 的数据集，下面来简单介绍 torchvision.datasets.MNIST 中的一些参数：
- 'mnist_data'：MNIST 数据集所在的文件夹，我直接设置在当前路径。如果你也传入 'mnist_data'，你会在当前路径下发现一个 mnist_data 的文件夹；
- train = True：可选参数。如果设置为 True，则从
./mnist_data/MNIST/processed/training.pt中加载训练集（使用 len(train_data) 可以看出共有 60000 张手写数字图片）。如果设置为 False，则从./mnist_data/MNIST/processed/test.pt中加载测试集； - download = True：可选参数。如果设置为 True，且路径下没有 MNIST 数据集，则会从网络上下载 MNIST 数据集，如果路径下已经存在 MNIST 数据集，则不会再次下载；
- transform = torchvision.transforms.Compose：transform 进行数据的预处理操作：
- ToTensor：将 ndarray 数组转换为 Tensor 数据类型；
- Normalize：进行数据的标准化，即减去均值除以方差，此时均值 0.1307 和方差 0.3081 是 MNIST 数据集计算好的数据，直接使用即可；
加载完了 MNIST 数据集中的训练集，我们可以设置 train = False 来加载 10000 张测试集。
import torchvision
test_data = torchvision.datasets.MNIST('mnist_data', train = False, download = True,
transform=torchvision.transforms.Compose([
torchvision.transforms.ToTensor(),
torchvision.transforms.Normalize(
(0.1307,), (0.3081,))
]))
print(len(test_data)) # 10000
# 测试集中的第1张手写数字图片以及对应的标签
X_test_0, label_test_0 = test_data[0]
print(X_test_0.shape) # torch.Size([1, 28, 28])
print(label_test_0) # 7至此 60000 张训练集以及 10000 张测试集都加载进来了，不过我们通常使用更为方便的数据集加载器 DataLoader，DataLoader 结合了数据集和取样器，提供了多个线程处理数据集，并且里面提供了很多方便处理数据集的功能。DataLoader 在 torch.utils.data 包下。
import torch
import utils # 加载我们自己写的工具类
batch_size = 512
train_loader = torch.utils.data.DataLoader(train_data,
batch_size = batch_size, # batch_size
shuffle = True) # 是否打乱数据集
test_loader = torch.utils.data.DataLoader(test_data,
batch_size = batch_size,
# 测试集只用于验证模型性能不需要打乱数据集
shuffle = False)
# 迭代器加载数据集，每次都加载batch_size个
# X: [batch_size, channel, width, hight]
# label: 数字编码
X, label = next(iter(train_loader))
print(X.shape, label.shape, X.min(), label.max())
utils.plot_image(X, label, 'image sample')torch.Size([512, 1, 28, 28]) torch.Size([512]) tensor(-0.4242) tensor(9)
References： 1. 龙良曲深度学习与PyTorch入门实战：https://study.163.com/course/introduction/1208894818.htm