pytorch学习笔记(四):输入流水线(input pipeline)

input-pipeline

引包

from torchvision import transforms
from torch.utils.data import Dataset
from torch.utils.data import DataLoader

图像预处理

# 创建个transform用来处理图像数据
transform = transforms.Compose([
    transforms.Scale(40),
    transforms.RandomHorizontalFlip(),
    transforms.RandomCrop(32),
    transforms.ToTensor()])

准备数据

# 下载数据
train_dataset = dsets.CIFAR10(root='./data/',
                               train=True,
                               transform=transform,#用了之前定义的transform
                               download=True)

image, label = train_dataset[0]
print (image.size())
print (label)
Files already downloaded and verified
torch.Size([3, 32, 32])
6

加载数据

# data loader提供了队列和线程
train_loader = data.DataLoader(dataset=train_dataset,
                               batch_size=100,# 这里定义了batch_size
                               shuffle=True,
                               num_workers=2)
# 迭代开始,然后,队列和线程跟着也开始
data_iter = iter(train_loader)

# mini-batch 图像 和 标签
images, labels = next(data_iter)

for images, labels in train_loader:
    # 这里是训练代码
    pass

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

如何在Python中快速进行语料库搜索:近似最近邻算法

选自Medium 作者:Kevin Yang 机器之心编译 参与:路雪 最近,我一直在研究在 GloVe 词嵌入中做加减法。例如,我们可以把「king」的词嵌入...

1775
来自专栏BestSDK

MXNet Scala发布图像分类API|附使用教程

这次发布的 Scala,里面的推理应用程序致力于优化开发者体验。Scala 是一个通用目的程序语言,支持功能性编程和较强的静态类型系统,它被用于平台的高度分布式...

1097
来自专栏SAP最佳业务实践

想学FM系列(16)-SAP FM模块:预算结构(7)-预算结构操作-多层预算结构维护

3.2.2.3 多层预算结构的维护 ? 1)FMHIE_HIEID- 编辑层次结构标识 功能为多层预算结构备用树定义一相标识ID,并定义相关属性,为之后生成备...

3908
来自专栏AI研习社

Github 项目推荐 | 用 AI 打造游戏,Unity 机器学习 Agent —— ml-agents

Ml-agents 是 Unity 机器学习 Agent,它可以让研究人员和开发者用 Unity 编辑器创建游戏和仿真实验。这些编辑器能够通过简单易用的 Pyt...

3957
来自专栏AI研习社

Github 项目推荐 | 可提取结构化信息的自然语言理解 Python 库 Snips NLU

Snips NLU 是一个用于自然语言理解的 Python 库,它可以解析用自然语言书写的句子,同时抽取出结构化信息。 该库支持 Snips Console 使...

3616
来自专栏机器学习从入门到成神

计算机系统的层次存储结构详解

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_35512245/articl...

651
来自专栏点滴积累

C#图像处理——ImageProcessor

这是个老生常谈的话题,需求实在太多,而且也较简单,写此文也是因为几个月没写技术文章了,权当为下一步开个头。我之前也做过很多此类项目,但是就我自己来说每次处理方式...

3937
来自专栏潇涧技术专栏

Differences between OpenCV JavaCV and OpenCV4Android

本文将介绍OpenCV,JavaCV以及OpenCV for Android(以下简称OpenCV4Android)之间的区别,并以一个人脸识别的Android...

974
来自专栏大数据文摘

TensorFlow 1.2.0新版本发布:新增Intel MKL优化深度学习基元

2334
来自专栏专知

【下载】PyTorch实现的神经网络翻译框架——机器翻译工具包 nmtpytorch

【导读】机器翻译是自然语言处理的重要组成部分,其目的是使用计算机自动将文本翻译成其他语言的形式。近年来,端到端的神经机器翻译发展迅速,已经成为机器翻译系统的新主...

3239

扫码关注云+社区