腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
在PySpark DataFrame中使用
数据
哈德
python
、
pandas
、
pyspark
、
dask
、
datashader
我设法用datashader绘制/
可视化
了熊猫的
数据
。但是,我没有设法使用PySpark
数据
RAM (使用一个4节点集群,每个集群有8Gb内存)来完成它。不过,我可以做的是使用.toPandas()方法将PySpark
数据
into转换为Pandas
数据
into。但是这将在驱动节点上加载整个RAM中的
数据
(该节点没有足够的RAM来适应整个
数据
集),因此不能利用Spark的分布式功能。 我也知道,只获取拾取
和
下降的经纬度
和
纬度将
浏览 3
提问于2017-09-03
得票数 2
回答已采纳
1
回答
dask
和
数据
可视化
python
、
matplotlib
、
bokeh
、
dask
谁能让我知道是否有可能使用
dask
与python
数据
可视化
python包,如bokeh
和
matplotlib。 谢谢 迈克尔
浏览 34
提问于2019-03-15
得票数 1
回答已采纳
1
回答
Dask
可视化
方法图像大小太小
python
、
dask
、
graphviz
我正在尝试使用visualize方法来
可视化
一个
Dask
图形。但是,生成的图像太小(因为我的图中有很多节点)。我怎样才能增加它的尺寸?以下是代码:from matplotlib import pyplot as plt missing_count = ((missing_values / df.index.size) * 100)这段代码摘自Jess
浏览 0
提问于2020-05-02
得票数 0
回答已采纳
1
回答
Dask
图:按层着色任务
python
、
visualization
、
dask
、
graphviz
在
Dask
中,我可以
可视化
HighLevelGraphs或(低级)
Dask
对象。df =
dask
.datasets.timeseries(end='2000-04-01', partition_freq='1m')HighLevelGraphdf.
dask
.visualize()低级图 问题
浏览 1
提问于2021-10-07
得票数 0
2
回答
如何
可视化
达斯克图形?
python-2.7
、
graphviz
、
dask
Please check out: http://continuum.io/thanks and https://anaconda.org File "<stdin>", line 1, in <module> File "C:\Anaconda\lib\site-packages\
dask
\dot.py"
浏览 1
提问于2016-09-02
得票数 2
回答已采纳
1
回答
我正在使用
Dask
,将Datashader用于dataviz而不是Python中的经典Seaborn有什么好处呢?
python
、
dask
这是我第一次使用
Dask
开发机器学习模型,但是在分割
数据
之前,我必须生成一些基本描述性统计的
可视化
。我曾经读过,Datashader在与
Dask
一起工作时比Seaborn“平滑”。我不明白是什么使这个库在与
Dask
并行化时最优。在业绩方面有什么实质性的优势吗?顺便说一句,我正在使用descriptive ()方法来计算描述性统计
数据
。 提前谢谢。
浏览 6
提问于2022-07-01
得票数 -1
1
回答
查看任务任务图
dask
、
dask-distributed
我正在使用
Dask
submit
和
gather范型来做一些类似的事情: data_future = client.scatter(data, broadcast=True) futures.append(
dask
.submit(some_func, i, data_future)) results =
dask
_client.gather(futures) 在计算完成后,是否有某种方法可以在此范例中查看/
可视化
DAG?d
浏览 14
提问于2019-06-18
得票数 2
回答已采纳
1
回答
如何解释
Dask
可视化
中的后缀数字?
dask
、
dask-delayed
当使用
dask
可视化
图形时,生成的图形有2种节点。正方形节点
和
圆形节点。def twothings(): twothings.visualize(filename='twothings.pngtwo
浏览 0
提问于2019-04-15
得票数 1
回答已采纳
1
回答
如何确定
dask
worker是否空闲?
dask
、
dask-distributed
我正在使用
dask
distributed。我有一个运行在AWS上的
dask
集群。如果工人是空闲的,我想关闭他们。如何找出
dask
worker是否空闲?我有权访问客户端 from xxxxxx.distributed.ecscluster import EcsCluster from
dask
.distributed import Client
浏览 13
提问于2021-04-30
得票数 1
1
回答
使用
dask
延迟合并一个巨大的
数据
帧列表
dask
、
dask-delayed
我有一个函数,它向我返回一个
数据
。我试图通过使用
dask
并行地使用这个函数。对如何改进运行时间有什么建议吗?
可视化
的图形
和
代码如下所示。
浏览 1
提问于2018-11-11
得票数 2
2
回答
可视化
DASK
任务图
python
、
dask
我正在跟踪,并创建了如下所示的图形: 'x': 1,提前感谢!
浏览 10
提问于2022-01-27
得票数 2
2
回答
使用
Dask
DataFrames对组执行任意操作的最佳方法
python
、
pandas
、
dask
、
dask-dataframe
我想在表单的操作中使用
Dask
其中,some_function()可以计算一些汇总统计信息,执行时间序列预测
Dask
状态(以及其他几个StackOverflow答案引用)表明,groupby-apply不适合聚合: 熊猫的群-应用可以用来应用任意函数,包括每组产生一行的聚合。
Dask
的将对每个分区组对应用func一次,所以当func是一个约简时,每个分区组对将得到一行。若要使用
Dask
应用自定义聚合,请使用
dask</
浏览 40
提问于2021-12-07
得票数 1
回答已采纳
1
回答
如何在输入列表中使用自定义DAG图(字典)?
python
、
dask
我根据创建了一个自定义DAG字典,它可以接受一个输入文件。现在,我想给它一个文件列表,但不重复DAG中的项目,如上面的链接所示。我知道delayed在:上的功能,但是我需要使用get来评估DAG,对吗?如果是这样,我如何与delayed或futures一起使用它?
浏览 0
提问于2019-05-18
得票数 0
回答已采纳
1
回答
在
Dask
图中
可视化
多个输出节点
python
、
dask
、
dask-delayed
我正在创建的
Dask
图有多个输出。 我想知道是否可以同时
可视化
多个
dask
输出。 当我尝试使用
dask
.visualize(graph)时。其中graph是
Dask
节点的元组或字典。例如: import
dask
def op(x, y): a = 1 c(output1, filename='output1.png')
浏览 15
提问于2019-03-11
得票数 0
回答已采纳
1
回答
为什么包在‘延迟’慢慢来?
python
、
pandas
、
dataframe
、
performance
、
dask
示例import
dask
df =
dask
.datasets.timeseriesfunction return 2*x f(task.compute()) # Takes ~1.6s on my machine 从仪表板上看,使f延迟似乎会使
数据
的实
浏览 1
提问于2021-08-12
得票数 0
1
回答
我是否正确地调用了
Dask
dataframe.corr()?
python
、
pandas
、
heatmap
、
dask
、
correlation
我试图计算
Dask
数据
的相关矩阵。from
dask
.distributed import Client #Calculate the
浏览 1
提问于2021-04-04
得票数 1
回答已采纳
1
回答
Dask
计算图可以保留中间
数据
,因此不需要重新计算吗?
dask
Dask
给我留下了非常深刻的印象,我正在尝试确定它是否是解决我问题的合适工具。我正在构建一个交互式
数据
探索项目,其中用户可以交互式地更改图形的参数。有时,这些更改需要重新计算整个流水线以生成图形(例如,“显示来自不同时间间隔的
数据
”),但有时不需要。例如,“更改平滑参数”不应该要求系统重新加载原始的未平滑
数据
,因为底层
数据
是相同的,只有处理过程发生了变化。系统应改为使用已加载的现有原始
数据
。我希望我的系统能够保留中间
数据
对象,并根据
数据
可视化<
浏览 2
提问于2020-05-25
得票数 1
1
回答
Dask
分布式-相同的持久化
数据
多个客户端
dask
、
dask-distributed
我们正在尝试
Dask
Distributed来为前端做一些繁重的计算
和
可视化
。现在,我们有了一个连接到现有分布式任务集群的gunicorn worker,该worker上传当前使用read_csv的
数据
,并将其持久化到集群中。我尝试过使用pickle来保存持久化
数据
帧中的未来,但它不起作用。我们希望有多个gunicorn工作线程,每个都有不同的客户端连接到相同的集群并使用相同的
数据
,但是有更多的工作进程,每个都上传一个新的
数据
帧。
浏览 17
提问于2019-05-07
得票数 3
1
回答
获取
dask
数组任务图中的节点数。
python
、
dask
如何获得关于
dask
数组任务图的实际大小的信息? 就大小而言,我指的是跨越所有层的节点总数。
浏览 0
提问于2021-11-23
得票数 0
回答已采纳
1
回答
从
dask
dataframe提供程序收集属性
python
、
pandas
、
dask
TL;DR:我如何从分布式读取中收集元
数据
(解析期间的错误)到dataframe集合中。 目前,我有一种专用的文件格式,用于输入
dask
.DataFrame。我有一个函数,它接受一个文件路径并返回一个pandas.DataFrame,
dask
.DataFrame成功地在内部使用该函数将多个文件加载到同一个
dask
.DataFrame。在解析文件格式时,我可能会遇到错误
和
某些条件,我希望将其作为元
数据
(日志、
数据
来源等)记录并与
dask
.DataFram
浏览 7
提问于2016-01-26
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python数据预处理:使用Dask和Numba并行化加速
数据可视化分析的目的和类型
数据可视化工具:Tableau和Smartbi对比(一)
分享:数据可视化和信息图成功的要素
机器学习模型的数据预处理和可视化
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券