在集群上应用Scikit-learn时对数据位置的困惑(Dask)
在集群上应用Scikit-learn时对数据位置的困惑(Dask)
Dask是一个开源的并行计算框架，用于在集群上扩展和加速Python数据分析和机器学习任务。在集群上应用Scikit-learn时，数据位置的困惑是指如何在分布式环境中管理和访问数据。
传统的Scikit-learn是基于单机的，它假设数据可以完全加载到内存中进行处理。然而，在大规模数据集和复杂模型的情况下，单机处理可能会面临内存不足的问题。这时候，Dask可以帮助我们将Scikit-learn的计算任务分布到集群中的多个节点上，并且能够处理大规模数据集。
在使用Dask时，数据可以存储在不同的位置，包括本地磁盘、分布式文件系统（如HDFS）或对象存储（如S3）。Dask提供了一种称为Dask Array和Dask DataFrame的数据结构，它们可以将数据分块存储在不同的节点上，并提供类似于NumPy和Pandas的接口进行操作和计算。
对于Scikit-learn的应用，可以通过以下步骤解决数据位置的困惑：
- 将数据加载到Dask Array或Dask DataFrame中：使用Dask的读取函数（如
dask.array.from_array()或dask.dataframe.read_csv()）将数据加载到Dask数据结构中。这样可以将数据分块存储在集群中的多个节点上。 - 对数据进行预处理和特征工程：使用Dask提供的并行计算功能，可以对数据进行预处理和特征工程操作。例如，可以使用Dask Array的
map_blocks()函数对每个数据块应用Scikit-learn的预处理函数。 - 在集群上应用Scikit-learn模型：使用Dask提供的
dask_ml模块，可以在集群上并行应用Scikit-learn的模型。该模块提供了与Scikit-learn相似的API，并且能够自动将计算任务分发到集群中的多个节点上。 - 结果收集和分析：使用Dask的计算结果收集函数（如
compute()）将计算结果从集群中收集回来，并进行后续的分析和可视化。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云Dask：腾讯云提供的托管式Dask集群服务，可快速搭建和管理分布式计算环境。详情请参考：腾讯云Dask产品介绍
- 腾讯云对象存储（COS）：腾讯云提供的高可靠、低成本的对象存储服务，可用于存储大规模数据集。详情请参考：腾讯云对象存储产品介绍
- 腾讯云弹性MapReduce（EMR）：腾讯云提供的大数据处理和分析平台，可用于在集群上运行Dask和Scikit-learn等任务。详情请参考：腾讯云弹性MapReduce产品介绍
相关·内容
我目前正在通过dask实现从一台机器到Slurm集群的机器学习(Scikit-Learn)。根据一些教程(例如https://examples.dask.org/machine-learning/scale-scikit-learn.html)，使用job_lib.parallel_backend('dask')非常简单。然而，读入数据的位置让我感到困惑，并且没有任何教程提到
浏览 28提问于2020-07-05得票数 1
回答已采纳
因此，我有一个由4个覆盆子Pis组成的可用的DASK/SLURM集群，其中包含一个通用的NFS共享，这样我就可以成功地运行Python作业。但是，我想在集群中添加更多不支持NFS挂载的arm设备(缺少内核模块)，因此我希望使用基于CurlftpFS的fuse ftp挂载。我使用匿名用户名成功地设置了挂载，没有任何密码，所有节点都可以看到通用FTP共享(就像以前它是NFS共享时一样)。我仍然可以运行SLURM作业(因为它们不使
浏览 20提问于2021-02-23得票数 0
在使用Dask时，我试图了解Kubernetes吊舱与集群节点的核心和内存之间的关系。我目前的设置如下：
每个节点有8个核心和30 gb的ram。kubectl scale --replica
浏览 0提问于2019-03-05得票数 1
我在GCP上使用Kubernetes引擎建立了Kubernetes集群，使用Dask对数据进行预处理和建模。我使用Helm 安装了Dask。现在，我看到有两个文件夹，work和examples我能够在example文件夹中执行笔记本的内容，确认一切都如预期的那样工作。我现在的问题如下
在集群上工作时，建议遵循的工作流是什么？我是否
浏览 0提问于2019-03-06得票数 1
回答已采纳
将parquet文件上传到kubernetes集群以使用Dask进行处理后，我在尝试读取时得到一个FileNotFoundError df=dd.read_parquet('home/jovyan/foo.parquet/part.0.parquet' 我可以看到这个文件确实存在，并且相对于我的jupyter笔记本实例的工作目录，它位于预期的位置。我不确定这是否重要，但为了在kuber
浏览 12提问于2019-03-20得票数 1
回答已采纳
1回答
合并两个大型数据帧
、、、
_libs.join.inner_join()
MemoryError: 有没有其他有效的方法。我在这里的一些讨论中看到Dask可以提供帮助，但我不知道如何在这种情况下使用它。有什么需要帮忙的吗？谢谢
浏览 16提问于2019-01-31得票数 0
1回答
当在集群上设置工作人员时，我对dask和dask.distributed中使用的不同术语感到有点困惑。
线程和进程是相同的概念吗？在</em
浏览 1提问于2018-06-29得票数 26
回答已采纳
我正在做一个基本的dask分发教程，并注意到了一个奇怪的行为。from dask.distributed import Client然后在我的笔记本中定义了以下功能B = client.map(neg, A)%time total.result()
第一次执行上述单元格时<
浏览 2提问于2021-01-08得票数 0
回答已采纳
我对如何准确地连接到从外部服务通过Dask-helm图表创建的已部署的Dask集群感到有点困惑。我按照here的说明部署了一个Dask集群 成功部署后，它向我显示了我的pod和服务，如下所示： hub-574f85779c-sk7ctNotebook，它是作为Helm Chart的一部分创建的，使用类似于下面的代码，并使用我的集群，没有任何问题。
浏览 28提问于2020-12-02得票数 1
下面的示例是：，我试图将一个~70 as的Dask数据帧与我作为Pandas数据frame加载的~24 as数据帧合并。合并位于两个列A和B上，我没有设置任何索引：from dask.diagnostics import ProgressBar
更新
我用8GB内存在我的Mac上试了一下，工作得很好。我相信，我有Anaconda附带<e
浏览 16提问于2016-09-13得票数 26
我最近在学习使用集群的应用操作。我对两者之间的区别感到困惑上面两个词的用法有什么不同？据R说，
clusterApply在第一个节点上使用参数x[[1]]和...调用fun，在第二个节点上使用x[[2]]和...调用，依此类推，根据需要回收节点。
浏览 67提问于2019-08-13得票数 3
我正在尝试设置一个dask分布式集群，我已经在三台机器上安装了dask，以便开始：
我在笔记本电脑上安装了dask[complete]，在其他机器上安装了dask。在笔记本电脑上运行GridSear
浏览 1提问于2018-08-08得票数 0
我在一个纱线集群上运行一个Dask-Yarn作业。在应用程序完成后，我使用YARN CLI及其ID检索完成的应用程序的日志，如下所示：out.log的大小为MB级。打开这个文件时，我看到了许多专门列出目录内容的行，标题为LogType:directory.info，它占用
浏览 0提问于2019-08-28得票数 2
我阅读了其他类似的帖子，并搜索谷歌，以找到更好的方法，但没有找到任何可行的解决方案。
我在BigQuery中有一个大表(假设每天插入2000万行)。我希望有大约2000万行数据，在python/大熊猫/dask中有大约50列的数据来做一些分析。
浏览 2提问于2019-03-06得票数 6
回答已采纳
1回答
在Dask cuDF中内存不足
、、、、
最近，我在最近的项目中一直试图解决dask_cudf中的内存管理问题，但我似乎遗漏了一些东西，需要您的帮助。我正在工作的特斯拉T4 GPU与15 GiB内存。当参数被提供时，我得到了最大池限制，否则我会得到以下错误：MemoryError: std::bad_alloc: CUDA error at: ..keep_known_values_only = remove_invalid_values_filter_factory(set(valid_values_info
浏览 5提问于2022-06-24得票数 0
1回答
我是dask.jobqueue的新用户，多亏了它，我正在尝试安排任务。 要启动的任务数量可能会有所不同(从几十个到几百个)，并且这些任务之间的依赖关系图可能非常复杂。它可以接受命名参数' resources‘，但根据我的理解(https://distributed.dask.org/en/latest/resources.html)对应于在创建集群时预先通知给每个工作进程<e
浏览 14提问于2020-03-25得票数 1
2回答
这只是一个在远程Dask kubernetes集群中重现内存泄漏问题的样本最小测试。return size_temp
del L_geojson 观察:工作内存(字节存储)在每次运行时稳步增加约
浏览 32提问于2020-09-24得票数 6
1回答
我所处的HPC环境中有集群、紧密耦合的互连和支持光泽的文件系统。我们一直在探索如何利用Dask不仅提供计算，而且充当一个分布式缓存，以加快我们的工作流。我们的专有数据格式是n维和规则的，我们编写了一个懒散的读取器，以传递给from_array/from_delayed方法。
我们在Dask集群中加载和持久化比内存更大的数据集时<
浏览 0提问于2018-06-11得票数 2
回答已采纳
我有一个Dask worker集群，我想用它们通过一个复杂的模型并行化预测操作。模型文件很大，需要很长时间才能加载，所以我使用client.run让所有的工作人员运行一个初始化函数来加载这个模型。如何从client.run函数中保留Python变量状态，以便在将来的任务操作中引用和使用它？我找到了dask.distributed.get_worker和字典，并使用它来设置任意值，然后我就可以在map_partition函数中访问它们，但我不确定这是最好的还是最安全<em
浏览 0提问于2019-09-27得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
