前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【项目实战】MNIST 手写数字识别(上)

【项目实战】MNIST 手写数字识别(上)

作者头像
sidiot
发布2023-08-31 14:00:34
2980
发布2023-08-31 14:00:34
举报
文章被收录于专栏:技术大杂烩技术大杂烩

前言

本文将介绍如何在 PyTorch 中构建一个简单的卷积神经网络,并训练它使用 MNIST 数据集识别手写数字,这将可以被看做是图像识别的 “Hello, World!”;

MNIST 包含 70,000 张手写数字图像:60,000 张用于训练,10,000 张用于测试。这些图像是灰度的,28x28 像素,居中以减少预处理并更快地开始。  

配置环境

在本文中,我们将使用 PyTorch 训练卷积神经网络来识别 MNIST 的手写数字。 PyTorch 是一个非常流行的深度学习框架,如 Tensorflow、CNTK 和 Caffe2。但与这些其他框架不同,PyTorch 具有动态执行图,这意味着计算图是动态创建的。

代码语言:javascript
复制
import torch
import torchvision

这里关于 PyTorch 的环境搭建就不再赘述了;

PyTorch 的官方文档链接:PyTorch documentation,在这里不仅有 API的说明还有一些经典的实例可供参考,中文文档点这!

准备数据集

完成环境导入之后,我们可以继续准备我们将使用的数据。

但在此之前,我们将定义我们将用于实验的超参数。在这里,epoch 的数量定义了我们将在整个训练数据集上循环多少次,而 learning_ratemomentum 是我们稍后将使用的优化器的超参数。

代码语言:javascript
复制
n_epochs = 3
batch_size_train = 64
batch_size_test = 1000
learning_rate = 0.01
momentum = 0.5
log_interval = 10

random_seed = 1
torch.backends.cudnn.enabled = False
torch.manual_seed(random_seed)
image.png
image.png

对于可重复的实验,我们必须为任何使用随机数生成的值设置随机种子:numpyrandom

而且,由于 cuDNN 使用非确定性算法,可以通过设置 torch.backends.cudnn.enabled = False 禁用该算法。

现在我们还需要数据集 DataLoaders,这就是 TorchVision 发挥作用的地方。它让我们以方便的方式使用加载 MNIST 数据集。下面用于 Normalize() 转换的值 0.1307 和 0.3081 是 MNIST 数据集的全局平均值和标准差,我们将在此处将它们作为给定值。

代码语言:javascript
复制
train_loader = torch.utils.data.DataLoader(
  torchvision.datasets.MNIST(path, train=True, download=False,
                             transform=torchvision.transforms.Compose([
                               torchvision.transforms.ToTensor(),
                               torchvision.transforms.Normalize(
                                 (0.1307,), (0.3081,))
                             ])),
  batch_size=batch_size_train, shuffle=True)
  
test_loader = torch.utils.data.DataLoader(
  torchvision.datasets.MNIST(path, train=False, download=False,
                             transform=torchvision.transforms.Compose([
                               torchvision.transforms.ToTensor(),
                               torchvision.transforms.Normalize(
                                 (0.1307,), (0.3081,))
                             ])),
  batch_size=batch_size_test, shuffle=True)
代码语言:javascript
复制
Downloading http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz
Downloading http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz
Downloading http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz
Downloading http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz
Processing...
Done!

TIP: 如果你可以接受等待时间的话,可以改动 download=True,不然的话,就自己先下载,然后在设置路径;

PyTorch 的 DataLoader 包含一些有趣的选项,而不是数据集和批量大小。例如,我们可以使用 num_workers > 1 来使用子进程异步加载数据或使用固定 RAM(via pin_memory)来加速 RAM 到 GPU 的传输。  

使用数据集

接下来使用一下 test_loader

代码语言:javascript
复制
examples = enumerate(test_loader)
batch_idx, (example_data, example_targets) = next(examples)
image.png
image.png

所以一个测试数据批次是一个形状张量:这意味着我们有 1000 个 28x28 像素的灰度示例(即没有 rgb 通道,因此只有一个)。可以使用 matplotlib 绘制其中的一些:

代码语言:javascript
复制
import matplotlib.pyplot as plt

fig = plt.figure()
for i in range(6):
    plt.subplot(2,3,i+1)
    plt.tight_layout()
    plt.imshow(example_data[i][0], cmap='gray', interpolation='none')
    plt.title("Ground Truth: {}".format(example_targets[i]))
    plt.xticks([])
    plt.yticks([])
image.png
image.png

后记

当你完成上述工作后,且一切正常,那么你的准备工作就完成了!接下来,就是要构建一个简单的卷积神经网络,并训练它使用 MNIST 数据集识别手写数字;

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2022-10-30,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 前言
  • 配置环境
  • 准备数据集
  • 使用数据集
  • 后记
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档