开发 | 用 Kaggle 经典案例教你用 CNN 做图像分类!

前言

在上一篇专栏中,我们利用卷积自编码器对 MNIST 数据进行了实验,这周我们来看一个 Kaggle 上比较经典的一个图像分类的比赛 CIFAR( CIFAR-10 - Object Recognition in Images, https://www.kaggle.com/c/cifar-10),这个比赛现在已经关闭了,但不妨碍我们来去通过它学习一下卷积神经网络做图像识别的代码结构。相信很多学过深度学习的同学都尝试过这个比赛,如果对此比较熟悉的可以跳过本篇,如果没有尝试过的同学可以来学习一下哈。

整个代码已经放在了我的 GitHub 上,建议可以把代码 pull 下来,边看文章边看代码。

GitHub 地址:https://github.com/NELSONZHAO/zhihu/tree/master/cifar_cnn

如果觉得有帮助,麻烦点个 star 啦~

介绍

文章主要分为两个部分,第一部分我们将通过一个简单的 KNN 来实现图像的分类,第二部分我们通过卷积神经网络提升整个图像分类的性能。

第一部分

提到图像分类,我们可能会想到传统机器学习中 KNN 算法,通过找到当前待分类图像的 K 个近邻,以近邻的类别判断当前图像的类别。

由于我们的图像实际上是由一个一个像素组成的,因此每一个图像可以看做是一个向量,那么我们此时就可以来计算向量(图片)之间的距离。比如,我们的图片如果是 32x32 像素的,那么可以展开成一个 1x1024 的向量,就可以计算这些向量间的 L1 或者 L2 距离,找到它们的近邻,从而根据近邻的类别来判断图像的类别。

以下例子中 K=5。

下面我们就来用 scikit-learn 实现以下 KNN 对图像的分类。

首先我们需要下载数据文件,网址为 https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz 。我们数据包含了 60000 万图片,每张图片的维度为 32 x 32 x 3,这些图片都有各自的标注,一共分为了以下十类:

  • airplane
  • automobile
  • bird
  • cat
  • deer
  • dog
  • frog
  • horse
  • ship
  • truck

数据是被序列化以后存储的,因此我们需要使用 Python 中的 pickle 包将它们读进来。整个压缩包解压以后,会有 5 个 data_batch 和 1 个 test_batch。我们首先把数据加载进来:

我们定义了一个函数来获取 batch 中的 features 和 labels,通过上面的步骤,我们就可以获得 train 数据与 test 数据。

我们的每个图片的维度是 32 x 32 x 3,其中 3 代表 RGB。我们先来看一些这些图片长什么样子。

每张图片的像素其实很低,缩小以后我们可以看到图片中有汽车,马,飞机等。

构造好了我们的 x_train, y_train, x_test 以及 y_test 以后,我们就可以开始建模过程。在将图片扔进模型之前,我们首先要对数据进行预处理,包括重塑和归一化两步,首先将 32 x 32 x 3 转化为一个 3072 维的向量,再对数据进行归一化,归一化的目的在于计算距离时保证各个维度的量纲一致。

到此为止,我们已经对数据进行了预处理,下面就可以调用 KNN 来进行训练,我分别采用了 K=1,3,5 来看模型的效果。

从 KNN 的分类准确率来看,是要比我们随机猜测类别提高了不少。我们随机猜测图片类别时,准确率大概是 10%,KNN 方式的图片分类可以将准确率提高到 35% 左右。当然有兴趣的小伙伴还可以去测试一下其他的 K 值,同时在上面的算法中,默认距离衡量方式是欧式距离,还可以尝试其他度量距离来进行建模。

虽然 KNN 在 test 数据集上表现有所提升,但是这个准确率还是太低了。除此之外,KNN 有一个缺点,就是所有的计算时间都在 predict 阶段,当一个新的图来的时候,涉及到大量的距离计算,这就意味着一旦我们要拿它来进行图像识别,那可能要等非常久才能拿到结果,而且还不是那么的准。

第二部分

在上一部分,我们用了非常简单的 KNN 思想实现了图像分类。在这个部分,我们将通过卷积神经网络来实现一个更加准确、高效的模型。

加载数据的过程与上一部分相同,不再赘述。当我们将数据加载完毕后,首先要做以下三件事:

  • 对输入数据归一化
  • 对标签进行 one-hot 编码
  • 构造训练集,验证集和测试集

对输入数据归一化

在这里我们使用 sklearn 中的 minmax 归一化。

首先将训练数据集重塑为 [50000, 3072] 的形状,利用 minmax 来进行归一化。最后再将图像重塑回原来的形状。

对标签进行 one-hot 编码

同样我们在这里使用 sklearn 中的 LabelBinarizer 来进行 one-hot 编码。

构造 train 和 val

目前我们已经有了 train 和 test 数据集,接下来我们要将加载进来的 train 分成训练集和验证集。从而在训练过程中观察验证集的结果。

我们将训练数据集按照 8:2 分为 train 和 validation。

卷积网络

完成了数据的预处理,我们接下来就要开始进行建模。

首先我们把一些重要的参数设置好,并且将输入和标签 tensor 构造好。

img_shape 是整个训练集的形状,为 [40000, 32, 32, 3],同时我们的输入形状是 [batch_size, 32, 32, 3],由于前面我们已经对标签进行了 one-hot 编码,因此标签是一个 [batch_size, 10] 的 tensor。

接下来我们先来看一下整个卷积网络的结构:

在这里我设置了两层卷积 + 两层全连接层的结构,大家也可以尝试其他不同的结构和参数。

conv2d 中我自己定义了初始化权重为 truncated_normal,事实证明权重初始化对于卷积结果有一定的影响。

在这里,我们来说一下 conv2d 的参数:

  • 输入 tensor:inputs_
  • 滤波器的数量:64
  • 滤波器的 size:height=2, width=2, depth 默认与 inputs_的 depth 相同
  • strides:strides 默认为 1x1,因此在这里我没有重新设置 strides
  • padding:padding 我选了 same,在 strides 是 1 的情况下,经过卷积以后 height 和 width 与原图保持一致
  • kernel_initializer:滤波器的初始化权重

在这里讲一下卷积函数中的两种常见 padding 方式,分别是 valid,same。假设我们输入图片长和宽均为 h,filter 的 size 为 k x k,strides 为 s x s,padding 大小 = p。当 padding=valid 时,经过卷积以后的图片新的长(或宽)为

;当 padding=same 时,经过卷积以后

。但在 TensorFlow 中的实现与这里有所区别,在 TensorFlow 中,当 padding=valid 时,

;当 padding=same 时,

其余参数类似,这里不再赘述,如果还不是很清楚的小伙伴可以去查看官方文档。

在第一个全连接层中我加入了 dropout 正则化防止过拟合,同时加快训练速度。

训练模型

完成了模型的构建,下面我们就来开始训练整个模型。

在训练过程中,每 100 轮打印一次日志,显示出当前 train loss 和 validation 上的准确率。

我们来看一下最终的训练结果:

上图是我之前跑的一次结果,这次跑出来可能有所出入,但准确率大概会在 65%-70% 之间。

最后在 validation 上的准确率大约稳定在了 70% 左右,我们接下来看一下在 test 数据上的准确率。下面的代码是在 test 测试准确率的代码。

我们把训练结果加载进来,设置 test 的 batchs_size 为 100,来测试我们的训练结果。最终我们的测试准确率也基本在 70% 左右。

总结

至此,我们实现了两种图像分类的算法。第一种是 KNN,它的思想非常好理解,但缺点在于计算量都集中在测试阶段,训练阶段的计算量几乎为 0,另外,它的准确性也非常差。第二种我们利用 CNN 实现了分类,最终的测试结果大约在 70% 左右,相比 KNN 的 30% 准确率,它的分类效果表现的相当好。当然,如果想要继续提升模型的准确率,就需要采用其他的一些手段,如果感兴趣的小伙伴可以去看一下相关链接(http://rodrigob.github.io/are_we_there_yet/build/classification_datasets_results.html#43494641522d3130) 里的技巧,Kaggle 上的第一名准确率已经超过了 95%。

如果觉得有用,请记得给 GitHub 打一个 Star,非常感谢!

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-08-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杨熹的专栏

详解循环神经网络(Recurrent Neural Network)

今天的学习资料是这篇文章,写的非常详细,有理论有代码,本文是补充一些小细节,可以二者结合看效果更好: https://zybuluo.com/hanbingt...

3656
来自专栏AI研习社

数字图像处理中的噪声过滤

大家好,在我们上一篇名为“数字图像处理中的噪声”的文章中,我们承诺将再次提供有关过滤技术和过滤器的文章。 所以这里我们还有关于噪声过滤的系列“图像视觉”的另一篇...

602
来自专栏机器学习原理

机器学习(18)——神经网络算法思想:从线性思想到最基础神经网络神经网络算法

前言: 关于“神经网络”这个词想必对人工智能感兴趣额的早已经熟得不能再熟悉了,在机器学习和认知科学领域,人工神经网络(artificial neural ne...

3736
来自专栏CreateAMind

论文解读:生成模型采样-类比学习应用 多图

741
来自专栏人工智能

卷积神经网络之卷积操作

深度学习是一个目前非常火热的机器学习分支,而卷积神经网络(CNN)就是深度学习的一个代表性算法。CNN主要用来解决图像相关的问题,目前,单张图片的识别问题已基本...

1797
来自专栏人工智能LeadAI

零基础入门深度学习 | 第四章:卷积神经网络

无论即将到来的是大数据时代还是人工智能时代,亦或是传统行业使用人工智能在云上处理大数据的时代,作为一个有理想有追求的程序员,不懂深度学习这个超热的技术,会不会感...

4467
来自专栏企鹅号快讯

简析集成学习

当我们第一次接触机器学习问题的时候,面对着大量的数据和一个分类/回归的机器学习任务,我们本能地会采取这样的方式:选择一个决策树分类器或一个Lasso回归模型,将...

2159
来自专栏人工智能

吴恩达深度学习课程笔记之卷积神经网络基本操作详解

卷积层 CNN中卷积层的作用: CNN中的卷积层,在很多网络结构中会用conv来表示,也就是convolution的缩写。 卷积层在CNN中扮演着很重要的角色—...

3487
来自专栏GAN&CV

基础 | batchnorm原理及代码详解

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_25737169/article/d...

641
来自专栏开心的学习之路

神经网络体系搭建(一)——神经网络

本篇是神经网络体系搭建的第一篇,解决体系搭建的前四个问题,详见神经网络体系搭建(序) 神经网络 ? 最简单的神经网络 神经网络的定义就不再赘述,直接从最简单的神...

31510

扫码关注云+社区