我似乎在Google中遇到了资源限制,用于从Drive读取数据(甚至将数据从驱动器传输到/tmp/ Colab本地存储空间)。在过去的一个月里,我一直在大量使用它,训练大型的BERT模型,并保存相对较大的数据集(3-5GB)。我现在才看到一个错误的例子(在多次成功阅读之后),以下代码会导致Colab崩溃:
from google.col
我正在使用googlecolab处理jupyter笔记本电脑(所有文件都在驱动器中)。我有两个文件: Exploratory_Data_Analysis.ipynb et PCA.ipynb。我想导入以使用第二个中第一个开始的数据。只在本地使用jupyter笔记本电脑(不使用google colaboratory),导入工作很简单,只需这样做:import import_ipynb
import Exploratory_Data_Analysis a
我目前正面临处理大型数据集的问题,由于google提供的空间有限(37 GB),我无法直接将数据集下载到google中,我已经做了一些研究,这似乎取决于我们分配的GPU,对于一些人来说,磁盘上的可用空间可能更多因此,我的问题是,我能否在服务器上下载数据集,比如Google,然后从服务器加载数据集。数据集大约是20 GB,37 G