我有一个大数组(5000x5000 float32元素)。如何测量将这个数组从RAM移动到GPU内存实际上需要多长时间?
我知道我可以创建一些非常简单的计算图,运行它,并测量它花了多长时间。首先,我担心测量的时间将被计算所需的时间所支配,而不是通过从RAM do GPU移动数据。第二,如果计算不涉及我提到的大数组,Tensorflow将简化计算图,使大数组不会在其中,也不会从RAM移动到GPU。
我刚刚开始进行数据分析,需要使用来分析大容量的数据。在计划使用Databricks笔记本进行分析时,我遇到了不同的存储选项来加载数据( a) DBFS --来自Databricks的默认文件系统b) Azure data Lake (ADLS)和c) Azure Blob Storage。看起来,项目(b)和(c)可以挂载到工作区中,以检索用于分析的数据。
如果我安装Azure Blob存储容器来