2回答
这只是一个在远程Dask kubernetes集群中重现内存泄漏问题的样本最小测试。requests.get("https://github.com/datasets/geo-countries/raw/master/data/countries.geojson") return size_temp
L_geojson = cl
浏览 32提问于2020-09-24得票数 6
1回答
我正在一个多节点分布式Dask集群上运行多个并行任务。然而，一旦任务完成，工作人员仍然持有大量内存，集群很快就会被填满。，因为我们在map函数中使用了大量的自定义对象和函数。为已知变量添加del和gc.collect()也没有多大帮助。trigger worker restart if no tasks
浏览 2提问于2020-01-18得票数 4
解决或调试这个问题的一些策略是什么？ distributed.worker -警告-内存使用率较高，但工作进程没有要存储到磁盘的数据。也许其他进程正在泄漏内存？进程内存: 26.17 GB --工作内存限制: 32.66 GB 基本上，我只是在单机上运行许多并行作业，但只是一个任务调度程序，并尝试了各种数量的工人。每当我启动大量作业时，随着时间的推移，内存会逐渐上升，只有当我反弹集群时，内存
浏览 20提问于2019-10-08得票数 1
1回答
使用dask distributed读取100个json文件：(Workers:5核:5内存: 50.00 GB) from dask.distributed import Client df = dd.read_json('gs://xxxxxx/2018-04-18/data-*
浏览 8提问于2019-04-16得票数 2
我使用HttpWebRequest对象使用带有客户端证书的SSL上载文件，我的服务器上有一个有效的证书，我的应用程序有内存泄漏问题，微软在以下链接中发布了与此问题有关的内容：
是否有任何工作可以避免内存泄漏，特别是每个请求都在消耗8K泄漏内存，这将导致我的应用程序消耗这么多内存。ValidateRemoteC
浏览 4提问于2011-05-21得票数 4
回答已采纳
我使用Dask在我的代码上有以下结构： @dask.delayed services = data.service_id r = calculate(parts[parts.quotation_id == qid])
output.append(r) 事实证明，当我在output列表上调用dask.computeDiagnostic UI没有“捕获”这个操作，我甚至不确定它
浏览 49提问于2021-01-08得票数 0
回答已采纳
在运行dask之后，我看到下面的输出，内存为40.53GB。40.53GB指的是这里的分布式内存还是磁盘内存？谢谢
浏览 0提问于2017-06-14得票数 2
回答已采纳
我有一个分布式Dask集群，我通过Dask分布式客户端将大量工作发送到该集群。 在发送完一堆工作后，我希望得到一份报告或其他东西，告诉我每个工作人员的内存使用峰值是多少。https://docs.dask.org/en/latest/diagnostics-distributed.html 谢谢!最好的
浏览 18提问于2021-02-06得票数 1
2回答
我正在用工具调试我的应用程序内存泄漏:堆快照，并注意到一些奇怪的东西。
我提出了一个AJAX请求来获取一个大型的JSON博客，显然原始的响应文本在内存中停留，导致我的应用程序中的内存泄漏。在我看来，$.ajax中不太可能有一个巨大的内存泄漏，但我希望能得到解释为什么会这样……如果我在香草JS上做同样的<
浏览 4提问于2014-05-09得票数 7
回答已采纳
1回答
我正在处理一个不适合内存的大数据集，因此缓存是唯一的选择。
其次，磁盘缓存在我的代码中似乎不起作用。我尝试上述两种方法。缓存机制失败:它填充了整个ram+swap内存，忽略了available_memo
浏览 0提问于2018-02-16得票数 1
回答已采纳
我在s3中有大量相对较小的文件。我需要读取每个文件，进行一些处理，然后将它们写回Google Cloud Storage。每个文件都足够小，可以放入内存中。保留每个文件的名称和内容非常重要。在多个内核/线程间扩展此工作时，最好的dask抽象是什么？
我尝试使用dask.bag处理文件，并成功地处理了小批量文件，但在尝试处理大量文件时遇到了内存问题。我在读取文件时使用了include_path，但在没有首先创建路径列表
浏览 1提问于2021-03-09得票数 1
2回答
达克客户端垃圾邮件警告在我的木星笔记本输出。有办法关掉达斯克警告吗？import pandas as pdfrom sqlalchemy imp
浏览 0提问于2019-08-09得票数 6
回答已采纳
1回答
我想读一个6gb大小的json (我还有一个1.5GB的json)，我试着和熊猫一起阅读(就用pd.read_json)，很明显记忆消失了。然后，我试着用块状的平面图，就像： df = []
df_reader =pd.read_json(f, lines=T
浏览 1提问于2018-11-21得票数 2
1回答
我想使用Dask摄取一个大的(>2GB，> 1M行)行分隔的JSON，并将其保存为一批Parquet文件。我正在我的个人电脑上进行这些实验，所以这个文件比可用的内存还要大。试图将整个JSON文件加载到内存中会导致内存错误。我知道Dask对于read_json有一些类似的参数(块大小使用字节而不是行)，但我无法使并行化正常工作。根据我对的理解，我编写了以
浏览 9提问于2022-09-01得票数 0
1回答
我正试图将变成Parquet背景的dataframe，在450 g 16核GCP实例中按标题索引。CirrusSearch转储作为一个单独的json行格式化文件。最简单的方法就是import daskfrom toolz import curried, npartitions=npartitions)
.to_parquet(f'{lan
浏览 1提问于2018-06-29得票数 5
) float32 dask.array<chunksize=(24,), meta=np.ndarray>ds['
浏览 10提问于2022-10-13得票数 0
1回答
每当我编写一个在循环中执行某些任务的测试应用程序时，它都在缓慢地泄漏内存。我使用MemoryProfiler和GC::Profiler.enable运行了代码，这表明我没有泄漏。因此，必须有两种选择：
没有内存泄漏，这是某种Ruby内存管理机制。问题是，我能
浏览 6提问于2016-12-02得票数 11
1回答
根据GC警告消息，我的代码“可能导致内存泄漏”，我自己的测量结果显示，在应用程序运行时，内存正在“泄漏”。所以，我想，释放分配给Hash的内存是很好的，它是手动的JSON字符串表示，但是我不知道如何做到这一点:我用文档错误的GC.free方法所做的实验并不成功，我不知道该往哪个方向继续我的研究……
请告诉我我能做些什么来避免内存
浏览 0提问于2018-06-09得票数 6
回答已采纳
1回答
我有一个很大的文件(25 to )，内存放不下。我想用Dask在这上面做一些操作。我尝试了两种方法，但都因内存错误而失败。方法1>>> df = dd.read_json('myfile.jsonl', lines=True)方法in 12 pieces with the unix split command
>>> #
浏览 4提问于2020-10-22得票数 0
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
