使用大量系统CPU的任务
使用大量系统CPU的任务
提问于 2019-07-11 05:06:11
我正在使用dask_dataframe.map_partitions在我的Mac上的Dask上运行一个Python进程。系统CPU超过70%，整体运行时间比预期的要慢。这有什么特别的吗？
Processes: 516 total, 4 running, 4 stuck, 508 sleeping, 4051 threads 17:01:05
Load Avg: 8.96, 8.63, 8.87 CPU usage: 24.29% user, 71.74% sys, 3.96% idle SharedLibs: 183M resident, 49M data, 30M linkedit.
MemRegions: 280712 total, 7256M resident, 122M private, 2408M shared. PhysMem: 15G used (3646M wired), 1216M unused.
VM: 3934G vsize, 1298M framework vsize, 337943173(128) swapins, 424866150(0) swapouts. Networks: packets: 54072553/576G in, 52411813/575G out.
Disks: 13274682/1405G read, 10823134/1690G written.
PID COMMAND %CPU TIME #TH #WQ #PORT MEM PURG CMPRS PGRP PPID STATE BOOSTS %CPU_ME %CPU_OTHRS UID FAULTS
13116 python3.7 955.1 02:01.53 90/17 1 124 721M- 0B 0B 5984 5984 running *0[1] 0.00000 0.00000 504 1624296+我看不到任何其他进程使用大量CPU，除了python进程
如果我不在Dask上运行相同的代码，我看不到高的sys CPU使用率，所以我想知道当运行Dask时系统会做什么。
回答 1
Stack Overflow用户
发布于 2019-07-11 05:09:50
如果python一次又一次地定义变量，那么它可能会占用大量内存。如果你的程序中有嵌套的循环，这也会花费很多时间。也许这就是问题所在？
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56978644
复制相关文章
相似问题
腾讯云开发者
