用Kaggle经典案例教你用CNN做图像分类!

前言

在上一篇专栏《利用卷积自编码器对图片进行降噪》中,我们利用卷积自编码器对 MNIST 数据进行了实验,这周我们来看一个 Kaggle 上比较经典的一个图像分类的比赛 CIFAR( CIFAR-10 - Object Recognition in Images ),这个比赛现在已经关闭了,但不妨碍我们来去通过它学习一下卷积神经网络做图像识别的代码结构。相信很多学过深度学习的同学都尝试过这个比赛,如果对此比较熟悉的可以跳过本篇,如果没有尝试过的同学可以来学习一下哈。

整个代码已经放在了我的 GitHub 上,建议可以把代码 pull 下来,边看文章边看代码。

GitHub 地址:NELSONZHAO/zhihu

如果觉得有帮助,麻烦点个 star 啦~

介绍

文章主要分为两个部分,第一部分我们将通过一个简单的 KNN 来实现图像的分类,第二部分我们通过卷积神经网络提升整个图像分类的性能。

第一部分

提到图像分类,我们可能会想到传统机器学习中 KNN 算法,通过找到当前待分类图像的 K 个近邻,以近邻的类别判断当前图像的类别。

由于我们的图像实际上是由一个一个像素组成的,因此每一个图像可以看做是一个向量,那么我们此时就可以来计算向量(图片)之间的距离。比如,我们的图片如果是 32x32 像素的,那么可以展开成一个 1x1024 的向量,就可以计算这些向量间的 L1 或者 L2 距离,找到它们的近邻,从而根据近邻的类别来判断图像的类别。

以下例子中 K=5。

下面我们就来用 scikit-learn 实现以下 KNN 对图像的分类。

首先我们需要下载数据文件,网址为 https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz 。我们数据包含了 60000 万图片,每张图片的维度为 32 x 32 x 3,这些图片都有各自的标注,一共分为了以下十类:

  • airplane
  • automobile
  • bird
  • cat
  • deer
  • dog
  • frog
  • horse
  • ship
  • truck

数据是被序列化以后存储的,因此我们需要使用 Python 中的 pickle 包将它们读进来。整个压缩包解压以后,会有 5 个 data_batch 和 1 个 test_batch。我们首先把数据加载进来:

我们定义了一个函数来获取 batch 中的 features 和 labels,通过上面的步骤,我们就可以获得 train 数据与 test 数据。

我们的每个图片的维度是 32 x 32 x 3,其中 3 代表 RGB。我们先来看一些这些图片长什么样子.

每张图片的像素其实很低,缩小以后我们可以看到图片中有汽车,马,飞机等。

构造好了我们的 x_train, y_train, x_test 以及 y_test 以后,我们就可以开始建模过程。在将图片扔进模型之前,我们首先要对数据进行预处理,包括重塑和归一化两步,首先将 32 x 32 x 3 转化为一个 3072 维的向量,再对数据进行归一化,归一化的目的在于计算距离时保证各个维度的量纲一致。

到此为止,我们已经对数据进行了预处理,下面就可以调用 KNN 来进行训练,我分别采用了 K=1,3,5 来看模型的效果。

从 KNN 的分类准确率来看,是要比我们随机猜测类别提高了不少。我们随机猜测图片类别时,准确率大概是 10%,KNN 方式的图片分类可以将准确率提高到 35% 左右。当然有兴趣的小伙伴还可以去测试一下其他的 K 值,同时在上面的算法中,默认距离衡量方式是欧式距离,还可以尝试其他度量距离来进行建模。

虽然 KNN 在 test 数据集上表现有所提升,但是这个准确率还是太低了。除此之外,KNN 有一个缺点,就是所有的计算时间都在 predict 阶段,当一个新的图来的时候,涉及到大量的距离计算,这就意味着一旦我们要拿它来进行图像识别,那可能要等非常久才能拿到结果,而且还不是那么的准。

第二部分

在上一部分,我们用了非常简单的 KNN 思想实现了图像分类。在这个部分,我们将通过卷积神经网络来实现一个更加准确、高效的模型。

加载数据的过程与上一部分相同,不再赘述。当我们将数据加载完毕后,首先要做以下三件事:

  • 对输入数据归一化
  • 对标签进行 one-hot 编码
  • 构造训练集,验证集和测试集

对输入数据归一化

在这里我们使用 sklearn 中的 minmax 归一化。

首先将训练数据集重塑为 [50000, 3072] 的形状,利用 minmax 来进行归一化。最后再将图像重塑回原来的形状。

对标签进行 one-hot 编码

同样我们在这里使用 sklearn 中的 LabelBinarizer 来进行 one-hot 编码。

构造 train 和 val

目前我们已经有了 train 和 test 数据集,接下来我们要将加载进来的 train 分成训练集和验证集。从而在训练过程中观察验证集的结果。

我们将训练数据集按照 8:2 分为 train 和 validation。

卷积网络

完成了数据的预处理,我们接下来就要开始进行建模。

首先我们把一些重要的参数设置好,并且将输入和标签 tensor 构造好。

img_shape 是整个训练集的形状,为 [40000, 32, 32, 3],同时我们的输入形状是 [batch_size, 32, 32, 3],由于前面我们已经对标签进行了 one-hot 编码,因此标签是一个 [batch_size, 10] 的 tensor。

接下来我们先来看一下整个卷积网络的结构:

在这里我设置了两层卷积 + 两层全连接层的结构,大家也可以尝试其他不同的结构和参数。

conv2d 中我自己定义了初始化权重为 truncated_normal,事实证明权重初始化对于卷积结果有一定的影响。

在这里,我们来说一下 conv2d 的参数:

  • 输入 tensor:inputs_
  • 滤波器的数量:64
  • 滤波器的 size:height=2, width=2, depth 默认与 inputs_的 depth 相同
  • strides:strides 默认为 1x1,因此在这里我没有重新设置 strides
  • padding:padding 我选了 same,在 strides 是 1 的情况下,经过卷积以后 height 和 width 与原图保持一致
  • kernel_initializer:滤波器的初始化权重

在这里讲一下卷积函数中的两种常见 padding 方式,分别是 valid,same。假设我们输入图片长和宽均为 h,filter 的 size 为 k x k,strides 为 s x s,padding 大小 = p。当 padding=valid 时,经过卷积以后的图片新的长(或宽)为

;当 padding=same 时,经过卷积以后

。但在 TensorFlow 中的实现与这里有所区别,在 TensorFlow 中,当 padding=valid 时,

;当 padding=same 时,

其余参数类似,这里不再赘述,如果还不是很清楚的小伙伴可以去查看官方文档。

在第一个全连接层中我加入了 dropout 正则化防止过拟合,同时加快训练速度。

训练模型

完成了模型的构建,下面我们就来开始训练整个模型。

在训练过程中,每 100 轮打印一次日志,显示出当前 train loss 和 validation 上的准确率。

我们来看一下最终的训练结果:

上图是我之前跑的一次结果,这次跑出来可能有所出入,但准确率大概会在 65%-70% 之间。

最后在 validation 上的准确率大约稳定在了 70% 左右,我们接下来看一下在 test 数据上的准确率。下面的代码是在 test 测试准确率的代码。

我们把训练结果加载进来,设置 test 的 batchs_size 为 100,来测试我们的训练结果。最终我们的测试准确率也基本在 70% 左右。

总结

至此,我们实现了两种图像分类的算法。第一种是 KNN,它的思想非常好理解,但缺点在于计算量都集中在测试阶段,训练阶段的计算量几乎为 0,另外,它的准确性也非常差。第二种我们利用 CNN 实现了分类,最终的测试结果大约在 70% 左右,相比 KNN 的 30% 准确率,它的分类效果表现的相当好。当然,如果想要继续提升模型的准确率,就需要采用其他的一些手段,如果感兴趣的小伙伴可以去看一下相关链接(http://rodrigob.github.io/are_we_there_yet/build/classification_datasets_results.html#43494641522d3130) 里的技巧,Kaggle 上的第一名准确率已经超过了 95%。

原文发布于微信公众号 - AI研习社(okweiwu)

原文发表时间:2017-07-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

使用SSD进行目标检测:目标检测第二篇

【导读】近日,CV-Tricks.com发布了一篇文章,使用SSD进行目标检测,SSD是当前最流行的目标检测算法之一。作者从检测的基本概念、滑动窗口检测、减少滑...

5655
来自专栏郑克松的专栏

人脸对齐:ASM (主动形状模型)算法

在这里, 我们重点讨论在人脸上的应用。在 PDM 中,外形相似的物体,例如人脸、人手等几何形状可以通过若干关键特征点(landmarks)的坐标依次串联形成一个...

1.5K0
来自专栏瓜大三哥

DeepFace

检测→对齐→表示→分类 在文章中,通过3d模型改进了人脸对齐的方法。然后,通过基于4million人脸图像(4000个个体)训练的一个9层的人工神经网络来进行人...

2486
来自专栏计算机视觉战队

详聊CNN的精髓

现在的深度学习发展速度已经超出每个人的想象,很大一部分人只是觉得我用他人的框架去实现自己的目的,并且效果很好就可以了,这也是现在一大部分的一个瓶颈。曾经有一个老...

3625
来自专栏算法channel

深度学习|卷积神经网络(CNN)介绍(后篇)

01 — 回顾 昨天介绍了CNN的卷积操作,能减少权重参数的个数,卷积操作涉及到三个超参数: 深度(Depth) 步长(Stride) 零填充(Zero-pad...

4935
来自专栏机器学习、深度学习

人脸对齐--Dense Face Alignment

Dense Face Alignment ICCVW2017 http://cvlab.cse.msu.edu/project-pifa.html ...

4847
来自专栏SnailTyan

Single Shot MultiBox Detector论文翻译——中文版

SSD: Single Shot MultiBox Detector 摘要 我们提出了一种使用单个深度神经网络来检测图像中的目标的方法。我们的方法命名为SSD,...

2890
来自专栏闪电gogogo的专栏

《统计学习方法》笔记七(1) 支持向量机——线性可分支持向量机

应用拉格朗日对偶性,通过求解对偶问题得到原始问题的最优解,一是因为对偶问题往往更容易求解,二是自然引入核函数,进而推广到非线性分类的问题。

792
来自专栏机器学习算法工程师

深入浅出解读卷积神经网络

作者:石文华 编辑:田 旭 卷积神经网络 ? 图1 全连接神经网络结构图 ? 图2 卷积神经网络结构图 卷积神经网络和全连接的神经网络结构上的差异还是比较大的,...

2784
来自专栏超然的博客

MIT-线性代数笔记(1-6)

  对方程组中某个方程进行时的那个的数乘和加减,将某一未知系数变为零,来削弱未知数个数

1242

扫码关注云+社区

领取腾讯云代金券