我正在尝试用google ai平台建立一个基本的pytorch管道。
我不明白谷歌存储是如何处理ai-platform作业的。
我正在尝试将几个google存储blob挂载到我的ai-platform作业中,但完全找不到如何做到这一点。我需要做两件事: 1)从我的python pytorch代码访问数据集;2)训练完成后访问日志和模型
在Google AI平台教程中,我找到的唯一相关概念是通过python将数据集手动下载到作业本地存储,并在程序结束后上传结果。但这在快速研究迭代的情况下肯定是不可接受的(因为在训练过程中存在大型数据集和可能的崩溃)。
对于这样一个基本问题,解决方案是什么?
发布于 2019-08-13 21:26:53
您可以使用Cloud Storage Fuse挂载存储桶并像使用本地文件夹一样使用它,以避免下载数据。
https://stackoverflow.com/questions/57476059
复制相似问题