开发丨机器学习零基础?手把手教你用TensorFlow搭建图像识别系统(一)| 干货

如果你觉得这是一篇简单介绍人工智能、机器学习和深度学习的文章,那就错啦。你可以在网上搜罗到一大堆相关话题的文章,而这篇文章也并不是讨论人工智能是否会奴役人类或抢走人们饭碗之类的话题,毕竟相关的各种推论和谣言已经满天飞了。

这只是一篇详细描述如何开始搭建一个机器学习系统,并让它可以识别所看到图像的文章。

作者Wolfgang Beyer目前现在正在学习人工智能和机器学习的内容。他认为最好的学习方式不是仅仅阅读各类材料,而是要真正地去动手搭建一个系统。这就是 AI 科技评论翻译本文的目的,也是作者要向你介绍的。在这篇文章中Beyer将向你展示如何搭建一个系统,去完成一项简单的计算机视觉任务:识别图像内容。

Beyer强调,他并不是一个专家。“我正在学习,而且还有很多东西需要学习。我只是简单介绍我正在做的事情。如果这对你能有所帮助,或者你也觉得很有趣,就已经很好了。如果你发现了错误或有什么改进建议也请告诉我,你的回复对我也很重要。”

阅读本文前你并不需要具备机器学习的相关经验。示例代码是使用Python写的,如果你有Python的基础知识是最好的。但如果你只是掌握其他的编程语言,那也已经足够了。由于篇幅限制,本系列将分四篇文章发布,雷锋网编译,未经许可不得转载。

为什么让机器学会图像识别?

图像识别是开发和测试机器学习的一项重要任务,因为视觉可能是最重要的一项感知能力。虽然对于人类来说,它是与生俱来的。但它是怎么实现的?大脑是怎样将视网膜上的图像转化成我们对周围环境的心智模式的?我想没人能对此一清二楚。关键是,对我们来说这看起来如此简单——我们不需要有意识地去做这件事,而对于计算机来说却困难重重(事实上,对我们来说也并不是看上去那么简单。只是我们并没有意识到进行了多少工作。有超过一半的大脑区域直接或间接参与了视觉活动)。

在我们甚至都不知道自己怎么看到东西的情况下,怎么让计算机去做到这样的事情呢?这就是机器学习要研究的事情。我们采取的方法是让计算机自己去完成这样的过程,而不是手把手地一步步教会计算机如何解释图像并翻译成计算机程序。我们给计算机提供总体结构,让计算机从经验中学习,就像我们人类做的那样。

但是,在我们开始构想计算机视觉的整体方案之前,让我们把这个任务简化为一个容易掌握的小目标。

图像分类和CIFAR-10数据集

我们尝试解决一个尽可能小而简单的问题,另外也不要期望它能瞬间让我们成为机器学习大师。我们希望计算机能做的包括以下方面:当我们向计算机展示一幅图片(特定尺寸)时,它能够对图片进行分析并打上标签。他可以从固定数量的标签中进行选择,每一类的标签描述了一种图像的内容。我们的目标就是这个模型能够尽可能地挑选出正确的标签。这个任务被称作图像分类。

我们将使用标准的CIFAR-10数据集。CIFAR-10包含了60000幅图片。它有10个不同的分类,每类包含6000幅图片。每幅图片的规格是32x32像素。这么小尺寸的图片对我们人类来说有时很难进行正确的分类,但它却简化了计算机模型的任务,并降低了分析图片的计算负载。

CIFAR-10数据集中10个分类中的随机图片。由于分辨率低,人类很难进行正确的标签。

我们将图片转化为一连串的数字输送给计算模型。每个像素由代表红色,绿色和蓝色的三个浮点数来表示。其结果就是32x32x3=3072个值。

除了CIFAR-10,还有很多其他的图像数据集可以用于计算机视觉的研究。之所以使用标准数据集,有两个目的:

第一,要收集这么多的图片是一项巨大的工作。你需要有大量的图片资源,并根据需要对他们进行分别标签。 第二,使用相同的数据集,可以让我们有目的地比较不同方法的优劣。

另外,使用标准数据集,可以相互比较,在竞赛中排出名次。最有名的比赛是Image-Net图像识别大赛,它需要对1000个不同的种类进行识别。2012年的胜者是来自多伦多大学(University of Toronto)的亚力克斯•克利则夫斯基(Alex Krizhevsky),伊利亚·苏特斯科娃(Ilya Sutskever)和杰夫·辛顿(Geoffrey Hinton)设计的算法。这个系统领跑整个比赛并且以巨大的优势获胜。

论文链接:

https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

这次比赛对整个研究领域产生了巨大的冲击,因为这是第一次使用卷积神经网络的方法获得胜利。卷积神经网络是一种人工神经网络,它大致模拟了动物视觉的皮质行为。这一技术的应用已经有一段时间,但它的潜力还没被多数人认识到。2012 Image-Net竞赛后,这种情况出现了改变。人们突然对神经网络和深度学习(深度学习是使用多层神经网络的方法解决机器学习的问题)产生了巨大兴趣,而这次赛事也极大地推动了以后几年深度学习的快速发展。

监督学习

我们怎么使用图像数据集让计算机自己学习呢?即使计算机自己能够学习,我们也需要告诉它学习什么和怎样学习。所以,我们需要通过制定一个大致的流程让计算机能够对图像进行评估。

我们定义一个通用的数学模型,将输入图像转换为输出标签。这个模型的实际输出不仅仅依赖于图像本身,还依赖模型内建的参数。这些参数并不是由我们提供,而是由计算机通过学习获得。

这样一来,这个过程可以被理解为一个优化问题。我们初始定义一个模型并提供初始的参数值。然后再向模型输入图像数据集和已知的正确标签。这就是训练的过程。在这个阶段模型重复校验,训练数据,持续调整参数值。目标是找到合适的参数使模型输出尽可能多的正确结果。这种同时使用输入数据和正确结果的训练方法叫做监督学习。还有一种叫做非监督学习,这种学习中只使用了输入数据而没有标签,但在这篇文章中我们不做讨论。

当训练完成,模型参数被固定下来,并可以被用于图像集以外的图像分类。

在训练期间,模型的预测结果与真实值进行比较。这些信息被用于更新参数值。在测试过程中就不再有反馈,模型只是产生标签。

TensorFlow

TensorFlow是机器学习的开源软件库,它由Google在2015年发布并很快成为全世界的研究者和学习者中最流行的机器学习库之一。它在图像分类模型中承担重要作用。

接下来,我们就要开始学习如何用TensorFlow搭建一个合适的模型。

建立模型,一个Softmax分类器

Github支持这个模型的完整代码。在使用之前,你需要安装以下软件:

· Python(代码经过了Python2.7测试,Python3.3+也应该可以工作,安装链接) · TensorFlow(安装指导链接) · CIFAR-10数据集:下载Python版本的数据集

从https://www.cs.toronto.edu/~kriz/cifar.html下载或者使用链接中的压缩文档。请把 cifar-10-batches-py解压到python源代码的目录下,这样图像的路径应该为/path-to-your-python-source-code-files/cifar-10-batches-py/。

好了,现在我们可以开始了。让我们先来看看试验的主文件softmax.py,一行一行地来分析:

from __future__ import absolute_import from __future__ import division from __future__ import print_function import numpy as np import tensorflow as tf import time import data_helpers

根据TensorFlow代码规范,在所有TensorFlow Python文件中为了Python2和3的兼容性,都应该添加future语句。然后导入TensorFlow,numpy用于数值计算和时间模块。data_helper.py包括加载和准备数据集的函数。

beginTime = time.time() # Parameter definitions batch_size = 100 learning_rate = 0.005 max_steps = 1000 # Prepare data data_sets = data_helpers.load_data()

我们启动一个计时器测量运行时间和定义一些参数。稍后在实际使用它们时再进行讨论。然后加载CIFAR-10数据集。因为读取数据并不是我们要做的核心,我把这部分的函数单独放在data_helper.py文件中。它只是负责读取包含数据集的文件,并把数据放入一个方便我们操作的数据结构中。

需要提到的重要的一点是,load_data()是将60000幅图像分为两部分。大的一部分包含50000幅图像。这些数据集用于训练我们的模型。另外的10000幅图像被称作测试集。在训练结束之前,我们的模型将不会看到这些图像。直到模型中的参数不再变换,我们使用测试集作为模型输入来检验模型的性能。

将数据分为训练集和测试集非常重要。我们并不知道我们的模型在遇到训练数据集或测试数据集的时候是否有相同的表现。最糟的情况在于,模型记录下了它看过的所有图像。如果我们使用相同的训练集进行测试,模型通过查找存储下来的正确答案,可能表现得非常完美。但是如果使用它从未见过的图像则原形毕露。这在模型学习中有个专门的概念叫做过度拟合,就是说特定的训练数据可能掩盖一些更为通常的特征。在机器学习中避免过度拟合是一项重大的课题。关于过度拟合和为什么建议将数据分成2个或者3个数据集,可以参考Coursera上吴恩达(Andrew Ng)机器学习课程的节选视频。

回到我们的代码,load_data()返回一个dictionary类型数据:

  • images_train:训练集转换为50000x3072(32像素x32像素x3个颜色通道)的数组
  • labels_train:训练集的50000个标签(每个数字从0到9代表图像训练集的10个分类)
  • images_test:测试集(10000x3072)
  • labels_test:测试集的10000个标签
  • classes:10个文本标签,将数字转换成文字(0代表“飞机”,1代表“车”,等等)

# Define input placeholders images_placeholder = tf.placeholder(tf.float32, shape=[None, 3072]) labels_placeholder = tf.placeholder(tf.int64, shape=[None])

做好了这些工作后,AI 科技评论在下篇将带大家开始建立这个模型。

via wolfib

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-01-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

十种深度学习算法要点及代码解析

谷歌董事长施密特曾说过:虽然谷歌的无人驾驶汽车和机器人受到了许多媒体关注,但是这家公司真正的未来在于机器学习,一种让计算机更聪明、更个性化的技术。 也许我们生活...

1868
来自专栏AI科技评论

学界 | 百度SVAIL推出高效问答模型GNR,比双向注意流快24.7倍

AI科技评论消息,百度硅谷AI实验室最近推出强文,文中提出了一种被称为GNR(Globally Normalized Reader)的方法。据AI科技评论了解,...

2498
来自专栏CSDN技术头条

自然语言处理技术(NLP)在推荐系统中的应用

个性化推荐是大数据时代不可或缺的技术,在电商、信息分发、计算广告、互联网金融等领域都起着重要的作用。具体来讲,个性化推荐在流量高效利用、信息高效分发、提升用户体...

2988
来自专栏灯塔大数据

原创译文 | 为网络新人而准备——七步理解深度学习

导读:上一期给大家介绍让你成为优秀数据科学家的42个步骤。深入掌握数据准备,机器学习,SQL数据科学等。今天我们从细节上来把握,七步进入深度学习(文末更多往期译...

3407
来自专栏达观数据

达观数据基于Deep Learning的中文分词尝试(下篇)

上周分享了本文上篇,现有分词、机器学习、深度学习库Keras技术知识,下篇将详细介绍达观数据使用深度学习的分词尝试。 基于深度学习方式的分词尝试 基于上面的知识...

39412
来自专栏PPV课数据科学社区

“小数据”的统计学

一、小数据来自哪里? 科技公司的数据科学、关联性分析以及机器学习等方面的活动大多围绕着”大数据”,这些大型数据集包含文档、 用户、 文件、 查询、 歌曲、 图片...

3356
来自专栏程序生活

卷积神经网络(CNN)介绍与实践

作为人类,我们不断地通过眼睛来观察和分析周围的世界,我们不需要刻意的“努力”思考,就可以对岁看到的一切做出预测,并对它们采取行动。当我们看到某些东西时,我们会根...

473
来自专栏新智元

【CVPR 2018热文】MIT提出“透明设计”网络,揭开视觉黑盒

【新智元导读】MIT和普朗克航空系统公司的研究人员合作,提出了一类“透明设计网络”,在李飞飞等人提出的视觉理解数据库CLEVR上达到了99.1%的准确率,他们设...

3215
来自专栏机器之心

深度 | 剖析DeepMind神经网络记忆研究:模拟动物大脑实现连续学习

选自github.io 作者:Rylan Schaeffer 机器之心编译 参与:吴攀、李泽南、李亚洲 前几天,Google DeepMind 公开了一篇新论文...

32911
来自专栏UAI人工智能

[译] 理解 LSTM 网络

1675

扫描关注云+社区