腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
遍历
DataLoader
样本
时
,
len
()
与
.
size
(
0
)
的
对比
、
、
我
在
github上遇到了这个(来自here
的
片段): (...) for i, data in enumerate(
dataloader
.to(device) label = torch.full((batch_
size
,), real_label用batch_
size
= <
浏览 186
提问于2021-03-21
得票数 0
回答已采纳
3
回答
Pytorch自定义数据加载器
、
、
我正在尝试用MNIST数据集来训练一个分类器,使用
的
是pytorch-MNIST。(self): returnmnist_train mnist_val =
DataLoader
(self.mnist_val, batch_
size
浏览 9
提问于2021-09-14
得票数 0
1
回答
如何使用txt文件创建具有DataPipe
的
可迭代PyTorch
、
、
、
、
然而,我没有使用PyTorch自己
的
数据集,而是使用了我从互联网上下载
的
东西。在上面的代码中,我
在
一个名为"source“
的
列表中有一些丹麦语句子,而在另一个名为"target”
的
列表中,它们
在
英语句子中
的
翻译。我
的
问题是,如何
浏览 10
提问于2022-06-21
得票数 0
回答已采纳
6
回答
从PyTorch
DataLoader
获取单个随机示例
、
如何从PyTorch 中获得一个随机示例请注意,我不想要一个图像和标签每小批,我想要一个总共一个例子。
浏览 2
提问于2018-12-01
得票数 22
回答已采纳
3
回答
如何更改Pytorch数据集
的
大小?
、
、
、
、
假设我正在从torchvision.datasets.MNIST加载MNIST,但我只想加载总共10000张图像,我该如何对数据进行切片以将其限制为一定数量
的
数据点?我知道
DataLoader
是一个生成器,可以产生指定批次大小
的
数据,但是如何对数据集进行切片呢?train_loader =
DataLoader
(tr, batch_
size
=ar
浏览 32
提问于2017-07-01
得票数 15
回答已采纳
1
回答
将不均匀尺寸列表转换为LSTM输入张量
、
、
因此,我有一个嵌套
的
1366
样本
列表,其中包含2特性,以及可变序列长度,这应该是LSTM
的
输入数据。标签应该是每个序列
的
一对值,即[-0.76797587, 0.0713816]。据我所知,LSTM接受不同长度
的
序列,因此在这种情况下,第一个
样本
的
长度为2,第二个
样本
的
长度为3。train_data = TensorDataset(torch.tensor(X, dtype=torch.float32), torch.tensor(Y
浏览 4
提问于2020-11-09
得票数 3
回答已采纳
1
回答
如何在使用CIFAR10将培训数据集拆分为训练集和验证集之后,使用PyTorch来增强数据?
、
、
、
、
在对CIFAR10进行PyTorch分类
时
,通常有50,000个训练
样本
和10,000个测试
样本
。但是,如果我需要创建一个验证集,我可以将训练集分成40000个训练
样本
和10000个验证
样本
。))cifar_train, cifar_val = torch.utils.data.random_split(cifar_train_L,[train_
size<
浏览 2
提问于2019-11-04
得票数 2
回答已采纳
3
回答
实现无限循环数据集&
DataLoader
在
PyTorch中
的
实现
、
以下是我尝试过
的
: def __
len
__(self):#return sample_func_to_be_parallelized() dataset=Infinite(), batch_
size
这里
的
主要挑战是__
len
()__方法。如果我把一个小
的</
浏览 0
提问于2019-01-25
得票数 9
3
回答
如何在PyTorch中从
dataloader
中获取整个数据集
、
、
如何从
DataLoader
加载整个数据集?我只得到了一批数据集。这是我
的
代码images, labels = next(iter(
dataloader
))
浏览 0
提问于2019-08-07
得票数 5
1
回答
如何在PyTourch中创建平衡循环迭代器?
、
其中一个我只有17个
样本
,另一个有83个
样本
。我希望每个时期
的
每个类都有相同数量
的
数据(在这种情况下意味着17乘17 )。loader, sampler): self.sampler = sampler self.iterator = iter(self.loader)
浏览 19
提问于2020-07-13
得票数 0
回答已采纳
1
回答
如何在
DataLoader
中解决错误
的
形状?
、
、
、
、
(alphabet))x.shape torch.
Size
([1274, 22]) 这是数据加载器出来
的
形状
dataload
浏览 45
提问于2021-10-10
得票数 0
回答已采纳
2
回答
如何确保一个批处理包含来自所有使用PyTorch
的
DataLoader
的
工作人员
的
样本
?
、
我想知道如何在PyTorch中使用torch.utils.data.
DataLoader
,特别是
在
多工作者
的
情况下。import random import
浏览 4
提问于2019-08-30
得票数 5
2
回答
火把数据机
的
例子或解释?
、
、
我阅读了,不知道
DataLoader
类
的
含义是什么,例如,当我应该结合使用torch.utils.data.TensorDataset类
时
。dataset = data.TensorDataset(*data_arrays)我假设这应该是返回一个可迭代
的
,可以
在
不同
的
批上迭代。
在
描述前一种类型
时
浏览 1
提问于2020-12-04
得票数 3
回答已采纳
5
回答
如何使用pytorch同时迭代两个数据服务器?
、
、
、
、
我加载这些图像并创建两个独立
的
数据采集器。 labels1 = data[
0
][1].cuda(async=True); OSError: [Errno 24] Too many open files Excepti
浏览 0
提问于2018-07-20
得票数 15
回答已采纳
1
回答
为什么要重写数据集而不是直接传入输入和标签,
、
抱歉,如果我说
的
是错
的
--新
的
火把。它会做一些类似的事情for i in range(input.
size
()[
0
trainloader =
DataLoader
(my_data)我
的
问题是,这些方法之间有什么区别,你为
浏览 2
提问于2020-03-30
得票数 0
回答已采纳
3
回答
当示例数量不能完全除以批量大小时,Pytorch
DataLoader
会失败
我
在
pytorch中编写了一个自定义数据加载器类。但当迭代一个时期内
的
所有批处理数
时
,它会失败。例如,假设我有100个数据示例,我
的
批处理大小是9。:return:
len
=> length of dataset return
len
(self.files) my_dataset,
浏览 1
提问于2019-06-13
得票数 10
回答已采纳
1
回答
带有
Dataloader
的
TypeError
、
、
、
、
我使用了一个非常大
的
数据集来测试我
的
模型。为了使测试
样本
更快,我想构建一个数据加载器。但我错了。我两天都解决不了。(), max_
len
=max_
len
return
DataLoader
( batch_
size
=train_data_loader1:当我
遍历
dataloader
时
,我
浏览 7
提问于2022-06-16
得票数 0
回答已采纳
2
回答
如何平衡数据加载器对二进制分类问题所产生
的
不平衡?
、
、
当我训练我
的
模型
时
,它只对80%
的
模型进行预测,这是有意义
的
,因为它在80%
的
时间里都看到了带有标签
的
模型。 BCELoss能理解这种情况吗?import torch class MyDataset(torch.utils.data.Dataset):def __init__(self, data_
size
=50000):
浏览 15
提问于2022-08-15
得票数 0
回答已采纳
2
回答
在
训练火炬神经网络模型中是否有洗牌模式?
、
、
、
、
我正在使用下面的代码来训练一个简单
的
神经网络,通过PyTorch学习谐波。但我想打开洗牌模式来改进模型。这个目标有语法吗?yhh = model(x_data[[np.random.choice(range(
len
(x_data)),
len
(x_data), replace=False)]])
浏览 9
提问于2022-06-15
得票数 0
回答已采纳
2
回答
即使
在
使用SubsetRandomSampler之后也有问题加载并行数据集
、
、
、
我有两个并行数据集dataset1和dataset2,下面是我使用SubsetRandomSampler并行加载它们
的
代码,其中我提供了用于数据挖掘
的
train_indices。即使
在
设置num_workers=
0
和种子np以及torch之后,样品也不会被并行加载。任何建议都非常欢迎,包括SubsetRandomSampler以外
的
其他方法。17, 18, 19]) torch.manual_seed
浏览 20
提问于2022-11-22
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
热门
标签
更多标签
云服务器
ICP备案
云直播
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券