专栏首页AI算法与图像处理深度学习中的数据简介 | PyTorch系列(十)

深度学习中的数据简介 | PyTorch系列(十)

文 |AI_study

机器学习在Fashion-MNIST 介绍

欢迎回到这个关于神经网络编程的系列。在这篇文章中,我们将介绍Fashion-MNIST数据集。

我们将查看数据集规范,如何构建数据集,以及数据集与原始的手写数字MNIST数据集有何不同。


为什么要研究数据集

我们先来思考一下为什么要花时间研究数据集。数据是深度学习的主要组成部分,尽管我们作为神经网络程序员的任务是让我们的神经网络从我们的数据中学习,但我们仍然有责任了解我们用于实际训练的数据的性质和历史。

计算机程序通常由两部分组成:代码和数据。在传统编程中,程序员的工作是直接编写软件或代码,但在深度学习和神经网络中,软件可以说是网络本身,在训练过程中自动产生的网络权重。

通过训练来监督和指导学习过程是程序员的工作。我们可以把它看作是编写软件或代码的一种间接方式。通过使用数据和深度学习,神经网络程序员可以生成能够执行计算的软件,而不需要编写代码来显式地执行这些计算。

由于这个原因,数据在软件开发中的作用正在发生变化,我们可能也会看到软件开发人员的作用也在发生变化。

数据集中注意事项:

  • 谁创建了数据集?
  • 如何创建数据集?
  • 使用了哪些转换?
  • 数据集有什么用途?
  • 可能的意外后果?
  • 数据集是否有偏差?
  • 数据集是否存在伦理问题?

实际上,获取和访问数据通常是深度学习中最困难的部分,所以在研究这个特定的数据集时要记住这一点。注意我们在这里看到的一般概念和思想。

一、MNIST数据集是什么?

MNIST数据集是修改过的国家标准与技术研究所数据库(Modified National Institute of Standards and Technology database),它是一个著名的手写数字数据集,通常用于训练机器学习的图像处理系统。NIST是国家标准与技术协会的缩写。

https://en.wikipedia.org/wiki/MNIST_database

MNIST中的M表示修改过的,这是因为有一个原始的NIST数字数据集被修改为MNIST。

MNIST之所以出名,是因为它经常被使用数据集。它的常见有两个原因:

  1. 因为它很简单,初学者很容易使用它
  2. 研究人员用它来比较不同的模型。

该数据集包含70,000张手写数字图像,并进行如下分割:

  • 60000训练图像
  • 10000测试图像

这些图像最初是由美国人口普查局(American Census Bureau)的雇员和美国高中生创造的。

MNIST得到了如此广泛的应用,图像识别技术也得到了如此大的改进,以至于人们认为数据集过于简单。这就是为什么要创建Fashion-MNIST数据集。

二、Fashion-MNIST是什么?

顾名思义,fashion - mnist是一个时装数据集。具体来说,数据集有以下十类时尚项目:

正如我们在前一篇文章中看到的,这些项目的一个示例如下:

(1)Fashion-MNIST的起源是什么

Fashion-MNIST的图片从何而来?Fashion-MNIST是基于Zalando网站上的分类。Zalando是一家总部位于德国的跨国时尚商务公司,成立于2008年。

这就是为什么我们可以在GitHub的URL上看到zalandoresearch,那里有Fashion-MNIST的数据集可供下载。

https://github.com/zalandoresearch/fashion-mnist

Zalando Research是创建数据集的公司内部的一个团队。

当我们回顾介绍数据集的论文时,我们将看到更多关于如何收集图像的信息,但是首先,让我们回答另一个隐藏的问题。

What’s MNIST about a fashion dataset?

(2)是什么把MNIST加入Fashion-MNIST的名字中?

fashion MNIST数据集的名称中包含MNIST的原因是,创建者希望将MNIST替换为fashion -MNIST。

由于这个原因,Fashion数据集被设计成尽可能地镜像原始MNIST数据集,同时由于拥有比手写图像更复杂的数据,因此在训练中引入了更高的难度。

我们将在论文中看到Fashion-MNIST对原始数据集的特定镜像,但是我们已经看到的是类的数量。

  • MNIST -有10个类(每个0-9位对应一个类)
  • Fashion-MNIST -有10个类(这是故意的)

让我们看看论文

在ArXiv上阅读Fashion-MNIST的论文。

论文可以在这里找到,要查看论文,只需点击PDF链接。

https://arxiv.org/abs/1708.07747 https://arxiv.org/pdf/1708.07747.pdf

关于这篇论文,首先要注意的是作者来自Zalando Research(《Fashion-MNIST的出处》)。

在阅读了该论文的摘要后,我们了解了为什么该数据集被命名为Fashion-MNIST。

(3)Fashion-MNIST论文章的摘要

We present Fashion-MNIST, a new dataset comprising of 28 by 28 grayscale images of 70,000 fashion products from 10 categories, with 7,000 images per category. The training set has 60,000 images and the test set has 10,000 images. Fashion-MNIST is intended to serve as a direct dropin replacement for the original MNIST dataset for benchmarking machine learning algorithms, as it shares the same image size, data format and the structure of training and testing splits. The dataset is freely available at https://github.com/zalandoresearch/fashion-mnist."

我们展示的fashion - mnist是一个新的数据集,包含了来自10个类别的70000个时尚产品的28 * 28张灰度图像,每个类别有7000张图像。训练集有60000张图片,测试集有10000张图片。Fashion-MNIST旨在作为基准机器学习算法原始MNIST数据集的直接替代品,因为它共享相同的图像大小、数据格式以及训练和测试的结构。数据集可在https://github.com/zalandoresearch/fashion-mnist免费获取。”

该数据集被设计为原始MNIST的完全替代。通过使Fashion-MNIST数据集规格与原始MNIST规格相匹配,可以顺利地实现从旧规范到新规范的转换。该论文声称,切换数据集所需的唯一更改是通过指向Fashion数据集来更改MNIST数据集的获取位置的URL。

这篇论文也让我们更深入地了解为什么MNIST如此受欢迎:

"The reason MNIST is so popular has to do with its size, allowing deep learning researchers to quickly check and prototype their algorithms. This is also complemented by the fact that all machine learning libraries (e.g. scikit-learn) and deep learning frameworks (e.g. Tensorflow, PyTorch) provide helper functions and convenient examples that use MNIST out of the box."

MNIST如此受欢迎的原因与它的大小有关,这使得深度学习的研究人员能够快速检查并原型化他们的算法。此外,所有的机器学习库(如scikit-learn) 和深度学习框架(如Tensorflow、PyTorch)都提供了辅助功能和方便的示例,可以开箱即用地使用MNIST。

PyTorch确实为我们提供了一个名为torchvision的包,让我们可以很容易地开始使用MNIST和Fashion-MNIST。

我们将在下一篇文章中使用torchvision 将我们的训练集加载到我们的项目中。

(4)Fashion-MNIST如何建立起来的

与MNIST的数据集不同,时装集不是手绘的,但数据集中的图像是Zalando网站上的真实图像。

但是,它们已经被转换成更符合MNIST规范的格式。这是网站上的每张图片经过的一般转换过程:

  1. Converted to PNG (转换为PNG)
  2. Trimmed (裁剪)
  3. Resized (调整大小)
  4. Sharpened (锐化)
  5. Extended (拓展)
  6. Negated (取反)
  7. Gray-scaled (灰度化)

要查看这个过程的更详细的描述,一定要查看论文的第二部分。

https://arxiv.org/abs/1708.07747

三、使用torchvision获取Fashion-MNIST

综上所述,我们已经了解了Fashion-MNIST数据集的起源和历史,尽管该数据集在设计上比计算机视觉问题更具挑战性,但集仍然是一个很好的起点。

我们将在下一篇中访问fashion - mnist,通过一个名为torchvision的PyTorch vision库,并建立我们的第一个神经网络,它可以准确地预测给定输入的时尚图像的输出类。

文章中内容都是经过仔细研究的,本人水平有限,翻译无法做到完美,但是真的是费了很大功夫,希望小伙伴能动动你性感的小手,分享朋友圈或点个“在看”,支持一下我 ^_^

本文英文链接是:

https://deeplizard.com/learn/video/EqpzfvxBx30

本文分享自微信公众号 - AI算法与图像处理(AI_study),作者:AI_study

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度模型不work?这有一份超全的Debug检查清单

    前言:本笔记是对近日阅读keynote“Troubleshooting Deep Neural Networks”的总结。

    AI算法与图像处理
  • 小数据集同样重要!掌握处理它的7种方法

    在现实生活中,通常只能使用一个小数据集。基于少量观测数据所训练出的模型往往会过度拟合,产生不准确的结果。所以即使可用的数据是极其有限的,也需要了解如何避免过度拟...

    AI算法与图像处理
  • 基于监督学习+自监督学习的智能抠图,精确到头发丝 | CVPR2020

    华盛顿大学的研究者最近发表的论文在CVPR 2020提供了一个新的和简单的方法,以取代你的背景在广泛的应用。你可以在家里做这些日常设置,使用固定或手持相机。我们...

    AI算法与图像处理
  • 图像分类经典项目:基于开源数据集Fashion-MNIST的应用实践

    图像分类是计算机视觉和数字图像处理的一个基本问题。传统的图像分类方法通过人工设计提取图像特征,而基于深度学习的图像分类方法能够自动提取特征,其中卷积神经网络(C...

    Datawhale
  • 尝鲜 ES2019 的新功能 [每日前端夜话0x38]

    ECMAScript 每年都会发布一个新版本,其中的提案是已经正式通过的,并分发给开发者和用户。本文将讨论该语言的最新版本,以及它又具有了什么新功能。

    疯狂的技术宅
  • js中reduce的用法(二) 详解与注意事项

    reduce()是将数组数据的每个元素累积为一个值的最佳方法,所以本篇文章我们就来详细介绍一下JavaScript中reduce()的使用方法。

    用户6973020
  • AI_第一部分 数据结构与算法(4.线性表之数组相关)

    第四阶段我们进行深度学习(AI),本部分(第一部分)主要是对底层的数据结构与算法部分进行详尽的讲解,通过本部分的学习主要达到以下两方面的效果:

    还是牛6504957
  • 大数据时代的10个重大变革

    大数据时代的到来正在改变人们的生活方式、思维模式和研究范式,我们可以总结出10个重大变革。 NO.1目标驱动型 数据驱动 决策方式 传统科学思维中,决策制定...

    企鹅号小编
  • 从支付宝数据分析网购消费者行为

    没有消费者,交易便无法成立,对于商家而言,关于消费者的数据至关重要。曾经,获取一份消费者报告需要通过漫长而周密的调研,而随着电商的不断发展,数据量级不断增大,服...

    华章科技
  • 星环科技陈祖峰:2017年金融行业大数据十大应用的趋势展望

    数据猿导读 过去的2016年可称之为“智能金融”元年。相比过去五年,以云计算、大数据、区块链为首的新兴技术创新全面渗透至金融业的方方面面,用科技手段解决供需矛盾...

    数据猿

扫码关注云+社区

领取腾讯云代金券