首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

torch Dataloader中的num_workers

/test_txt/{i}.txt' for i in range(1000)]) loader = DataLoader(dst, 128, num_workers=0) ts = time...min7.148, 0.893, 0.074, 1.009, 0.726可见,一共是1000个文件,batch size 128,也就是8个batch,总共耗时7.1s,接下来清除cache,3、设置num_workers...因此时间增大4倍,接下来3个batch几乎不占用时间total, mean, std, max, min7.667, 0.958, 1.652, 3.983, 0.000接下来实验在SSD上进行,同样num_workers...SSD上,对比机械硬盘更加稳定然后是num_workers = 4,total, mean, std, max, min1.934, 0.242, 0.421, 1.088, 0.000?...我一贯的理解是:比如num_workers为4,那么每个worker计算一个batch,因为本机多核且大于4,讲道理4个worker并行处理,因此时间为num_workers=0的1/4才合理,那原因是为何呢

1.7K40

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券