前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >修改 PyTorch Cache 文件下载路径

修改 PyTorch Cache 文件下载路径

作者头像
为为为什么
发布2022-09-27 09:02:53
2.1K0
发布2022-09-27 09:02:53
举报
文章被收录于专栏:又见苍岚

PyTorch 自带很多预训练模型,在使用时会自动下载,本文记录修改下载位置的方法。

背景

  • PyTorch 下载预训练模型总得放个地方无可厚非,但默认路径在 Windows 中是 C:\Users\<username>\.cache ,很可能占用 C 盘几个 G 的空间,尝试修改该路径

模型加方式

  • pretrained为True时,PyTorch会调用torch.utilsload_state_dict_from_url函数
  • load_state_dict_from_url函数最终调用torch.utils.model_zoo.load_url函数
  • 其中的参数model_dir就是保存的目录,这里它默认会使用环境变量TORCH_HOME
  • 默认情况下环境变量TORCH_HOME的值为~/.cache
  • 在windows下就是%USERPROFILE%\.cache,其中%USERPROFILE%表示环境变量%USERPROFILE%的值,它对应Linux的~

修改方法

  • 搞清楚原理就容易修改了
临时方案
  • 运行 torch 时现场设置环境变量 ‘TORCH_HOME’
代码语言:javascript
复制
import os
os.environ['TORCH_HOME']='E:/Data/torch-cache'

永久方案
  • 修改环境变量,加入 ‘TORCH_HOME’
  • 之后下载模型就会到新路径去了
代码语言:javascript
复制
2022-08-25 14:53:36,183 - timm.models.helpers - INFO - Loading pretrained weights from url (https://github.com/rwightman/pytorch-image-models/releases/download/v0.1-weights/wide_resnet50_racm-8234f177.pth)
Downloading: "https://github.com/rwightman/pytorch-image-models/releases/download/v0.1-weights/wide_resnet50_racm-8234f177.pth" to E:/Data/torch-cache\hub\checkpoints\wide_resnet50_racm-8234f177.pth

参考资料

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年8月25日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 背景
  • 模型加方式
  • 修改方法
    • 临时方案
      • 永久方案
      • 参考资料
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档