前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >PyTorch的数据处理

PyTorch的数据处理

作者头像
@小森
发布2024-05-28 08:19:11
950
发布2024-05-28 08:19:11
举报
文章被收录于专栏:xiaosenxiaosen

💥今天看一下 PyTorch数据通常的处理方法~

一般我们会将dataset用来封装自己的数据集,dataloader用于读取数据 

Dataset格式说明 

💬dataset定义了这个数据集的总长度,以及会返回哪些参数,模板:

DataLoader格式说明

导入两个列表到Dataset

💬输出:

💬如果修改batch_size为2,则输出:

  • 我们可以看出,这是管理每次输出的批次的
  • 还可以控制用多少个线程来加速读取数据(Num Workers),这参数和电脑cpu核心数有关系,尽量不超过电脑的核心数

导入Excel数据到Dataset中

💥dataset只是一个类,因此数据可以从外部导入,我们也可以在dataset中规定数据在返回时进行更多的操作,数据在返回时也不一定是有两个。

导入图像数据集到Dataset

需要安装opencv

pip install opencv-python

💯加载官方数据集 

有一些数据集是PyTorch自带的,它被保存在TorchVision中,以mnist数据集为例进行加载:

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2024-05-27,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Dataset格式说明 
  • DataLoader格式说明
  • 导入两个列表到Dataset
  • 导入Excel数据到Dataset中
  • 导入图像数据集到Dataset
  • 💯加载官方数据集 
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档