腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
是否
更改
Dask
数据
帧
/
数组
的
维度
?
、
、
我正在通过SKlearn在
dask
中设置一个机器学习管道。分类器
的
拟合函数需要解释性变量和目标变量(X和Y序列)。 当前通过
dask
客户端运行本地集群。(estimator, X, y, **fit_kwargs) 487 477 ) D:\Anacon
浏览 5
提问于2019-06-12
得票数 0
回答已采纳
2
回答
向
dask
.dataframe添加
dask
.array列
、
、
我有一个
dask
数据
帧
和一个
dask
数组
,它们以相同
的
逻辑顺序具有相同
的
行数。
数据
帧
行通过字符串进行索引。我正在尝试将一个
数组
列添加到
数据
帧
中。我尝试了几种方法,但都以其特定
的
方式失败了。当结构在逻辑上兼容时,将
dask
数组
列添加到
dask
数据
帧
的
正确方法是
浏览 15
提问于2018-01-09
得票数 8
2
回答
为什么map_blocks要重塑我
的
数组
,我如何控制它?
、
、
我想使用
dask
作为一个非达克感知函数(),这是我可以用
dask
.array.map_blocks完成
的
。后者需要一个返回ndarray
的
函数,但是pyproj.Geod.inv返回一个ndarray
的
元组,所以我将得到
的
ndarray连接在一个包装器函数中,然后传递给
dask
.array.map_blocks下面的示例说明了这个问题(当然,这里f可以直接使用
dask
数组
,但pyproj.Geod.inv不能): import <em
浏览 3
提问于2019-12-10
得票数 0
回答已采纳
1
回答
块大小未知
的
示例
dask
数据
帧
、
、
我正在尝试读取一个大型.parquet作为
dask
数据
帧
,并对其进行采样:sample_ddf = ddf.sample0.03)ValueError: Arrays chunk sizes are unknown: (nan,) ddf.to_
dask</e
浏览 29
提问于2021-05-21
得票数 0
1
回答
合并两个大型
数据
帧
、
、
、
我有两个大
数据
帧
:一个包含3M行,另一个包含2M行第一个
数据
帧
: sacc_id$ id$ creation_date0 001A000000hAUn8IAG_libs.join.inner_join() Mem
浏览 16
提问于2019-01-31
得票数 0
1
回答
沿
维度
操作,而不写回Xarray上
dask
数组
中
的
数据
、
、
、
我有一个有3个
维度
('time','x‘和'y')
的
数据
集。我想沿时间
维度
应用此函数foo: lo, hi = np.percentile(arr, (1,99)) return arr在numpy中,
浏览 22
提问于2021-05-29
得票数 1
1
回答
在Numpy
数组
上执行Pandas函数
、
、
、
、
我有一个大约8700万行
的
Pandas
数据
帧
。为了对其进行一些处理,我将其设置为
Dask
数据
帧
。问题是我需要做
Dask
不支持
的
unstack和plot。我已经将
Dask
数据
帧
写入h5文件,但在尝试将其作为Pandas
数据
帧
读取时遇到内存问题。我在将
Dask
DF转换为Pandas时也遇到了内存错误。从本质上讲,我尝试做
的
是df2
浏览 2
提问于2020-04-22
得票数 2
1
回答
应用后
的
Dask
DataFrame无法从重复轴重新索引
、
、
、
、
我正在尝试将item_price
的
NaN值
更改
为以下
dask
数据
帧
中基于item_id
的
平均值: all_data['item_price'] = all_data[['item_id','item_price']].groupby('item_id')['item_price'].apply(lambda x: x.fillna(x.mean())) All_data.head() 不
浏览 12
提问于2019-03-02
得票数 0
1
回答
在应用函数之前,强制
Dask
延迟对象计算所有参数
、
我真的很喜欢使用
Dask
。def inc(x, y):类似这样
的
东西 if hasattr(y, compute): return x + y dinc = <
浏览 0
提问于2017-01-30
得票数 1
1
回答
在
DASK
上运行
的
cuML函数?那么
dask
_cudf操作呢?
、
、
、
如何在大型
数据
集
dask
_cudf上运行
dask
_cuML (例如逻辑回归)?例如,有人知道在
dask
_cudf
数据
帧
上运行逻辑回归
的
步骤吗?关于我
的
cudf和cuml逻辑函数:cud
浏览 1
提问于2020-02-06
得票数 0
1
回答
使用sklearn scaler覆盖
dask
数据
帧
、
、
、
我有以下
dask
数据
帧
:我想要对其应用sklearn缩放器,例如,应用到列LotArea:scaler.fit_transform(df[['LotArea']]) array([[ 0.82160041], [ 1.46485804],0.11648362], [-0.11706628
浏览 14
提问于2019-07-16
得票数 0
1
回答
如何正确地对
数据
进行预处理,将
数据
输入到ML模型中
、
我正在使用一个非常大
的
dataset 进行一个项目。我甚至不能适应熊猫,所以我决定使用达斯克,但我有问题。我可能做错了什么,但是当我尝试train_test_split X和y时,如果不将它们转换为
dask
_array,我就无法做到这一点。由于我使用了7个分类标签,所以train_test_split导致y
的
形状不正确,应该是7,但它
的
结果是形状( X,42),与X
的
形状相同。dd.get_dummies(df['attack_map'].to_frame().categorize()
浏览 2
提问于2022-07-27
得票数 0
2
回答
有没有一种很好
的
方法来在
dask
数据
帧
上对许多条件进行条件选择?
、
我正在从Pandas切换到
Dask
,并希望在
数据
帧
上执行条件选择。我想提供一个条件列表,最好是布尔
数组
/序列,然后得到一个应用了所有这些条件
的
数据
帧
。在Pandas中,我只是做了np.all(BoolSeries1,BoolSeries2,...)并将结果应用于
数据
帧
。import
dask
.array as daimport nu
浏览 10
提问于2019-06-27
得票数 2
回答已采纳
2
回答
如何让
Dask
知道索引已排序?
根据 answer
的
说法,如果
Dask
知道
数据
帧
的
索引已排序,则
Dask
数据
帧
可以执行智能索引。for source is sources: pd =load_pandas_df_from_some_source(so
浏览 11
提问于2017-06-23
得票数 3
3
回答
如何将
DASK
数据
帧
放入MySQL
数据
表?
、
、
我从CSV文件中获取了
数据
,并将其保存在我
的
Dask
数据
帧
中并对其进行操作。然后,我需要将
数据
写入
数据
表。我还没有真正遇到过任何解决方案。Pandas
的
to_sql函数具有内置
的
功能,所以我不确定
是否
需要首先转换为Pandas?我目前认为,将
Dask
数据
帧
转换为Pandas会导致它被完全加载到内存中,这可能会违背最初使用
Dask
的</em
浏览 4
提问于2020-03-27
得票数 1
2
回答
Pandas Dataframe对于内存来说太大,实现
dask
时出现问题
、
、
、
我正在编写一个脚本,将我
的
模拟
数据
添加到我
的
循环中
的
n个模拟
的
熊猫
数据
帧
中。当我选择一个n >~15
的
值时,它崩溃了,我想我
的
df变得太大了,无法在运行模拟时存储在内存中。'num_samples' : [],#some simulation stuffs 然后用这些值填充我
的
<
浏览 2
提问于2018-06-07
得票数 0
1
回答
dusk ml intercept回归抛出此错误:"NotImplementedError:无法向具有未知块形状
的
数组
添加截取“
、
、
、
大家好,我刚开始接触dusk Ml,我一直在尝试使用
dask
ml训练一个逻辑回归模型来预测tweet
的
情绪。我已经将pandas
数据
帧
转换为
dask
数据
帧
。在那之后,我执行了列车测试拆分。我执行了Train_X_vect.compute().shape行来检查形状,它返回(180224, 7000),否则y_train.compute().shape会在我尝试
的
时候返回(180224,),为了将它们拟合到逻辑回归模型中,我得到了一个错误,说"
浏览 3
提问于2020-05-13
得票数 0
1
回答
将
dask
数组
写入netcdf
、
、
我试图将一个
dask
数组
写到netcdf文件中,但我得到了一个内存错误,我发现这有点奇怪,因为
dask
数组
的
大小并不是太大。它大约是0.04 GB。它
的
维度
如下: Dimensions: (latitude: 2000, longitude: 5143) Coordinates:下面是我如何生成要写入netcdf
的
dask
数组
。= OUTFI
浏览 3
提问于2018-05-23
得票数 1
0
回答
Dask
图
的
执行和内存使用
、
、
我正在
dask
中构建一个非常大
的
DAG,以提交给分布式调度器,在分布式调度器中,节点操作
数据
帧
,而
数据
帧
本身可能非常大。一种模式是,我有大约50-60个函数,用于加载
数据
和构造pandas
数据
帧
,每个
数据
帧
大小为几百MB (并且逻辑上表示单个表
的
分区)。我想将这些连接到图中下游节点
的
单个
dask
数据
帧
中,同时最
浏览 6
提问于2017-06-07
得票数 4
1
回答
存储在dataframe中
的
计算
dask
延迟对象
、
、
、
我正在寻找最好
的
方法来计算存储在
数据
帧
中
的
许多
dask
delayed指令。我不确定
是否
应该将pandas
数据
帧
转换为包含delayed对象
的
dask
数据
帧
,或者
是否
应该对pandas
数据
帧
的
所有值调用compute调用。我非常感谢大家
的
建议,因为我在通过嵌套
的
for循环传递
浏览 10
提问于2019-08-10
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python数据预处理:使用Dask和Numba并行化加速
使用 Dask在Python 中进行并行计算
如何只用一行代码让 Pandas 加速四倍?
这样做能让你的 pandas 循环加快 71803 倍
划重点!12种高效Numpy&Pandas使用技巧!
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券