腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从
连续
产生
的
散乱
数据
更新
dask
数组
dask
、
dask-distributed
我正在执行一个分析,它“持续”地
产生
数据
,并打算
更新
dask
数组
。您将在下面找到一个旨在说明工作流程
的
最小示例。 有没有人知道我应该怎么做,或者对此有什么想法?我希望避免将
数据
存储在磁盘上。
浏览 24
提问于2021-07-28
得票数 0
回答已采纳
2
回答
带numpy阵列
的
dask
袋折叠式
python
、
numpy
、
parallel-processing
、
mapreduce
、
dask
在对包含numpy
数组
的
FutureWarning进行foldby操作时,我
从
dask
/ numpy获得了一条信息非常少
的
foldby消息。这会
产生
正确
的
结果,但也会
从
NumPy
产生
许多NumPy消息(看起来每个分区一条),尽管看起来它们似乎来自
dask
。
dask
/异步c.py:247: FutureWarning:元素级比较失败;返回标量,但将来将执行元素级比较返回函数(*a
浏览 5
提问于2017-05-05
得票数 3
回答已采纳
2
回答
python
dask
包是否像掩码
数组
一样支持numpy?
python
、
dask
、
masked-array
有没有一种方法可以使用Python包来模拟掩码
数组
,并考虑掩码进行计算,就像在Numpy中一样:mdata = np.ma.masked_where(data == value, data) 在软件包文档中,我只找到了
dask
.arrays此外,使用另一个
数组
进行切片似乎也是不可能
的
。因此,我找不到一种只对
数组
的<
浏览 0
提问于2016-12-06
得票数 1
1
回答
块大小未知
的
示例
dask
数据
帧
python
、
dask
、
dask-dataframe
我正在尝试读取一个大型.parquet作为
dask
数据
帧,并对其进行采样:sample_ddf = ddf.sample(frac=0.03)ValueError: Arrays chunk sizes are unknown: (nan,) d
浏览 29
提问于2021-05-21
得票数 0
2
回答
如何在
dask
中绘制直方图?
python
、
dask
t是一个
dask
数组
。我想画一张t
的
直方图。
Dask
文档有方法但是没有一个例子我尝试过使用numpy
数组
来设置bins。没有起作用。我试过使用matplotlib.pyplot,它花了5分钟多
的
时间,没有
产生
任何结果(我
的
数据
集很大(GB大
浏览 0
提问于2016-06-29
得票数 2
1
回答
初始化大于内存
的
Xarray
数据
集
python
、
dask
、
python-xarray
、
zarr
我想初始化一个非常大
的
XArray
数据
集(如果可能的话在磁盘上),以便以后处理--
数据
集
的
各个部分(空间子集)将由不同
的
脚本填充。import zarrmosaics = root.create_grou
浏览 6
提问于2022-09-19
得票数 0
回答已采纳
1
回答
Dask
计算非常慢
python
、
python-3.x
、
performance
、
dask
、
dask-distributed
我有一个由五百万条记录组成
的
数据
。我试图使用下面的代码来处理它,方法是利用python中
的
dask
数据
格式。import
dask
.dataframe as dd print(index); results =
dask</
浏览 0
提问于2018-10-07
得票数 5
1
回答
Dask
:
连续
提交,处理所有提交
的
数据
python-3.x
、
dask
、
dask-distributed
、
streamz
有了500个
连续
增长
的
DataFrames,我想向
dask
提交(对于每个DataFrame独立
的
)
数据
的
操作。我
的
主要问题是:
dask
保存
连续
提交
的
数据
,因此我可以对所有提交
的
数据
(而不仅仅是新提交
的
?)执行 submit 函数。input() run_clus
浏览 5
提问于2020-05-13
得票数 5
1
回答
使用sklearn scaler覆盖
dask
数据
帧
python
、
arrays
、
scikit-learn
、
dask
我有以下
dask
数据
帧:我想要对其应用sklearn缩放器,例如,应用到列LotArea:scaler.fit_transform(df[['LotArea']]) array([[ 0.82160041], [ 1.46485804],0.11648362], [-0.11706628],
浏览 14
提问于2019-07-16
得票数 0
1
回答
空
dask
数据
帧
的
len引发异常
python
、
pandas
、
dask
我需要知道
dask
dataframe
的
长度,但是如果我正在读取一个空文件,代码会
产生
一个异常: 因此,我得到了错误:但是,如果文件不是空
的
,是否有更好
的
方法来获取
dask
<em
浏览 3
提问于2020-10-07
得票数 0
回答已采纳
1
回答
如何使用
dask
并行导入hdf5
数据
并创建dataframe?
python
、
parallel-processing
、
dask
、
dask-dataframe
不可能使用read_hdf()
从
用h5py创建
的
hdf5文件中读取。我能做些什么来用paralleL中
的
dask
导入数千个hdf5 5文件,并访问其中
的
多个do
数组
?我想要创建一个dataframe,其中每个2d
数组
(
从
hdfs中
的
n个暗
数组
中提取)都存储在dataframe
的
一个单元格中。因此,行数对应于在所有文件中找到
的
总
数组
数,在这里9。我将
数组</
浏览 0
提问于2021-09-30
得票数 1
回答已采纳
1
回答
如何将
Dask
Dataframe转换为
Dask
Array?
python
、
pandas
、
numpy
、
dask
我有一个
dask
dataframe对象,但是我希望有一个
dask
数组
。我怎样才能做到这一点?
浏览 0
提问于2018-08-31
得票数 6
1
回答
在不使用
dask
的
情况下在块中加载xarray DataArray
dask
、
python-xarray
是否有可能将DataArray
的
部分块(存储为单个netcdf文件)
从
磁盘加载到内存(即不同时加载整个
数据
数组
),但不使用DataArray?问题是,我使用
dask
作为集群调度程序来提交作业和在这些作业中--我想将一个
数据
数组
以小块
的
形式
从
磁盘中分页到内存中。不幸
的
是,
Dask
不喜欢嵌套
的
dask
调度器,因此试图按照da = xr.open_datarray( f
浏览 0
提问于2021-02-11
得票数 2
1
回答
在Fortran-
连续
顺序中重塑
dask
.array
python
、
arrays
、
numpy
、
reshape
、
dask
我想问一问,由于还不支持并行化
的
dask
函数(),是否有一种方法可以在中重新构造np.reshape
数组
。
浏览 4
提问于2017-08-03
得票数 3
回答已采纳
1
回答
在第一次执行时
从
NetCDF文件中缓慢地获取特定
的
单元格值
raster
、
netcdf
、
python-xarray
、
data-cube
我使用
的
特定文件是公开
的
。print(ds.ET_500m.values[0][0][0]) 根据我
的
理解,xarray应该直接定位磁盘中包含相应值
的
块
的
位置,并读取它。如果在同一脚本中检索另一个单元格
的
值,即使它位于不同<em
浏览 5
提问于2022-05-17
得票数 2
回答已采纳
1
回答
如何在线程调度程序中利用多线程?
multithreading
、
scheduling
、
dask
我对
Dask
的
本地线程调度程序感兴趣。此调度程序可以使用多个线程
从
多维
数组
中“并行”加载
数据
块。我对I/O界问题感兴趣,所以暂时不考虑计算密集型应用。使用
Dask
的
存储方法
从
随机
数组
加载和保存
数据
的
一些速度测试似乎证实了这一事实:随着块大小
的
增加,性能下降(据说是因为最小块增加了并行性)。在这个实验中,我使用没有物理块
的
hdf5文件:1包含
数组<
浏览 4
提问于2019-11-02
得票数 2
回答已采纳
1
回答
有没有可能序列化xarray DataArray,它包含指向文件
的
延迟
dask
数组
数据
?
python
、
serialization
、
deserialization
、
dask
、
python-xarray
我已经
从
多个源hdf5文件构建了一个巨大
的
dask
数组
。假设
数据
只来自一个hdf5文件:import h5py
dask
_arr = da.from_array(h5_data, chunks=chunksize) 然后,我将
dask
数组
中
浏览 1
提问于2019-12-18
得票数 2
2
回答
如何
更新
具有nan维度
的
dask
数组
的
形状、块和块大小元
数据
python
、
dask
假设我生成一个具有依赖于某些计算
的
形状
的
数组
,例如: >>> import
dask
.array as da>>> a_persisted.c
浏览 20
提问于2019-02-28
得票数 4
2
回答
将Google实体从一个名称空间复制到另一个名称空间
java
、
google-app-engine
、
google-cloud-platform
、
google-cloud-datastore
NEW_NAMESPACE).build();由于实体具有由Datastore生成
的
数字id,而复制实体
的
id需要保持不变,所以我还需要让Datastore知道分配这些id,因为我使用
的
是DatastoreService.allocateIdRange 分配ids
的
代码
浏览 0
提问于2018-04-14
得票数 0
1
回答
试着将sqlite
数据
库读入
Dask
数据
python
、
sqlite
、
dask
、
dask-distributed
、
dask-dataframe
我试着用
Dask
从
kaggle
的
sqlite
数据
库中读取一张表,import
dask
.dataframe as ddf # Read sqlite query resultsindex_col='cnpj
浏览 1
提问于2022-04-19
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python数据预处理:使用Dask和Numba并行化加速
处理数据,大数据甚至更大数据的 17 种策略
Java集合源码分析之基础(一):数组与链表
Ray 分布式计算框架详解
游戏夜读 Scikit-learn的2018自述
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券