腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(4931)
视频
沙龙
2
回答
如何
(/if)
使用
dask
来
转
置
分布式
3Dnumpy
数组
?
python
、
numpy
、
mpi
、
dask
我的问题是在一个
3Dnumpy
数组
A上执行3次矩阵乘法,这个
数组
太大了,不适合单个处理器。在张量形式中,我想要A_ijk B_km C_jn D_ip (B、C和D都可以放在内存中)。我想知道
dask
是否适合这项任务(或者其他工具可能更适合)。 我认为最好的方法是将这个操作分成每个乘法,并确保它们都是局部的。然后,我需要
转
置
数组
,使j轴位于每个处理器的本地(并拆分k轴(现在是m轴)),然后执行下一次乘法。(因此从图中的第一步到第二步)。这就是我想知道
dask</
浏览 15
提问于2019-06-24
得票数 1
1
回答
如何
将
dask
数据交换(将列转换为行)以接近整洁的数据原则
python
、
twitter
、
dataframe
、
transpose
、
dask
其目标是将列转换为行,就像熊猫可以
使用
df.T转换数据格式一样。import
dask
.bag as db import
dask
.dataframe as和
dask
.array为
数组
提供了
转
置
方法。我的目标是做同样的
转
置
操作,但在
dask
数据帧上。我
浏览 7
提问于2016-08-04
得票数 4
回答已采纳
1
回答
将图像的3D numpy
数组
堆栈重塑为向量,然后再重塑为3D,保留图像结构
python
、
arrays
、
numpy
、
reshape
、
transpose
我有一个
3Dnumpy
数组
,它应该表示2个图像的堆栈,每个3x3像素(为简单起见-形状: 2×3×3): x = np.array([ [1,2,3], ], [10,11,12], [16,17,18]]) 我对它进行了
转
置
和重塑False, True], [ True, T
浏览 12
提问于2020-07-21
得票数 0
回答已采纳
1
回答
在Fortran-连续顺序中重塑
dask
.array
python
、
arrays
、
numpy
、
reshape
、
dask
我想问一问,由于还不支持并行化的
dask
函数(),是否有一种方法可以在中重新构造np.reshape
数组
。
浏览 4
提问于2017-08-03
得票数 3
回答已采纳
1
回答
dask
分布是否
使用
“龙卷风协同”
来
执行员工任务?
python
、
multithreading
、
tornado
、
coroutine
、
dask
然而,我希望许多
dask
任务(例如
dask
.pandas、
dask
.array)都是CPU密集型的。
如何
与“旋风协同”和处理每个
dask
任务的更常见的进程/线程并发在
分布式
中?
浏览 3
提问于2016-10-04
得票数 4
回答已采纳
1
回答
从
Dask
数组
中选取大量切片的最佳方法
dask
、
dask-distributed
我正在
使用
Dask
数组
生成分布在几个节点中的大型(65kx65kx3) 3D信号。在下一步中,我需要
使用
存储在
Dask
包中的切片从这个
数组
中提取几千个瓦片。我的代码如下所示: import
dask
.array as dafrom
dask
.distributed import Client def pick_tile
dask
_client = Client(....)
浏览 16
提问于2020-01-15
得票数 1
1
回答
在多个
dask
数组
上迭代和计算
python
、
dask
我有多个
dask
数组
,并希望每次
使用
imageio将它们保存为GIF或某种电影格式,但我认为这个问题足够普遍,解决方案可以帮助其他人。我想知道是否有一种方法
来
按顺序计算
数组
,在计算一个
数组
并将其写入磁盘时,开始计算剩下的工作人员上的下一个
数组
。如果可能的话,如果调度程序/图能够在
dask
数组
之间共享任务(如果有的话),那就太好了。在我看来,代码看起来是这样的: import
dask
.array as da
浏览 0
提问于2018-06-09
得票数 2
回答已采纳
3
回答
关于
使用
并行化解决问题的一般问题
c
、
openmp
、
mpi
例如,通过
转
置
矩阵
来
解决这种情况,这是否是一种好的和常见的尝试,因为这将减少必要的通信,甚至避免虚假共享问题?在此之后,您将撤消
转
置
。当然,假设这会带来更好的速度。
浏览 0
提问于2011-03-27
得票数 2
1
回答
Julia中的
数组
排序
arrays
、
julia
在Julia中,是否有一种方法可以在本地
使用
C序
数组
或非连续
数组
?例如,当
使用
NumPy时,C顺序
数组
是默认的,但是我可以初始化一个Fortran有序
数组
并
使用
它进行计算。一种简单的方法是采用矩阵的
转
置
。我还可以
使用
非连续
数组
,这些
数组
是通过切片生成的。我已经查看了文档等,无法找到在Julia中创建、声明或
使用
C顺序
数组
的方法。
转</em
浏览 6
提问于2014-01-25
得票数 4
回答已采纳
2
回答
在链中
使用
拉链
underscore.js
是否有可能连锁zip
来
转
置
数组
?total: _.reduce(d, function(total, event) { return total += event.amount; }) }); 展示了
如何
转
置
数组
浏览 2
提问于2014-03-12
得票数 2
回答已采纳
1
回答
在单台多核机器上索引大型
dask
数据时的内存
使用
情况
parquet
、
dask
、
dask-distributed
、
fastparquet
、
dask.distributed
CirrusSearch
转
储作为一个单独的json行格式化文件。英国Wipedia
转
储包含500万个存储器,压缩了12G &扩展了90+G。一个重要的细节是,记录并不完全是平坦的。最简单的方法就是import
dask
from toolz import curried可以通过明确地
使用
分布式
或多处理调度程序
来
避免该问题。 我尝试过的所有调度程
浏览 1
提问于2018-06-29
得票数 5
2
回答
Dask
和numpy -在numpy
数组
和
dask
数组
之间的缓慢转换
python
、
numpy
、
dask
、
dask-distributed
我需要从一个大的numpy
数组
中保存一个
dask
数组
。下面是一个最小的工作示例,展示了该过程。请注意,a是
使用
numpy.random创建的,但不幸的是,我不能
使用
dask
创建
数组
。import numpy as npfrom
dask
.distributed import Client a = numpy.random.randint,内存中的a占用大约100 it,然而,当运行<
浏览 22
提问于2020-02-20
得票数 0
回答已采纳
1
回答
Tensorflow InvalidArgumentError (参见上面的回溯):不兼容的形状:[10000,10]与[10000]
python
、
tensorflow
我在tensorflow上尝试了我的第一次尝试-我试图通过获取10维的输入向量X并输出标量Y
来
学习线性回归器。具体地说,我试图
使用
基于闭合形式梯度的解决方案。
浏览 4
提问于2017-02-08
得票数 3
回答已采纳
1
回答
在OpenCV中访问3D矩阵的2D平面
opencv
我不确定
如何
在OpenCV中做到这一点。我想过将3D矩阵
转
置
为320 (行)x 235 (cols) x 25 (通道),然后
使用
split获得25个矩阵,但
转
置
似乎不起作用(MATLAB甚至不允许在多维
数组
上
转
置
)。可以
使用
NAryMatIterator吗?或者是否有任何其他方法
来
执行此过程?
浏览 3
提问于2012-07-26
得票数 4
回答已采纳
1
回答
如何
在
分布式
dask
数组
中找到最小n值
dask
、
dask-distributed
我有一个
分布式
dask
数组
,其形状为(2400,2400),块大小为(100,100)。我想我可以
使用
topk(-n)来找到最小的n值。然而,它似乎返回了一个形状为(2400,n)的
数组
,所以它似乎在每个row.Is中找到了最小的n。有没有办法
使用
topk
来
获得所有行(整个
数组
)中的最小n值?>>> dist
dask
.array<pow, shape=(2400, 2400), dtype=float64,
浏览 2
提问于2019-06-29
得票数 0
4
回答
矩阵二维阵列的
转
置
c
、
arrays
请教我
如何
创建一个C程序,以找到一个由二维(2D)
数组
表示的5阶矩阵的
转
置
。
使用
元素初始化2D
数组
,如下所示,
使用
初始化程序列表在原始矩阵中显示。显示原始矩阵和
转
置
。程序中必须只有一个二维
数组
。12 13 14 15 矩阵的
转
<em
浏览 1
提问于2014-12-04
得票数 0
回答已采纳
2
回答
从
数组
中减去行的平均值
python
、
broadcasting
、
numpy-slicing
我正在尝试
使用
切片和广播从
数组
的相应列中减去
数组
的列平均值。我不明白
如何
转
置
或者为什么我需要
转
置
,现在我有一个给定的
数组
Y。Y_avg = Y.mean(axis=0)这将创建一个
数组
,该
数组
现在的列平均值为0。但这不是我想要的
浏览 4
提问于2020-07-02
得票数 0
1
回答
如何
在行中而不是在列中获得sklearn.standardscale?
python
、
dataframe
、
scikit-learn
我试图
使用
sklearn标准定标器
来
正常分配数据,但默认情况下,它会将数据列规范化,而不是按行排列。
如何
使用
sklearn标准定标器,使其按行而不是列进行规范化?
浏览 2
提问于2020-09-23
得票数 0
回答已采纳
1
回答
使用
map_blocks根据每个块的内容计算堆
dask
我已经在我的笔记本电脑上创建了一个
Dask
集群,并
使用
xarray.open_dataset(‘NetCDF _data.nc’,chunks={'lat':'auto','lon':'auto','time':-1})加载了一个
Dask
数据集。我已经将其转换为时间序列的
分布式
数组
ts,每个(经度,经度)对一个。对于这个
数组
,ts.chunks是:((1555200,1555200,155
浏览 7
提问于2019-01-11
得票数 0
8
回答
如何
在Excel2007VBA中"ReDim保留“二维
数组
,以便可以向
数组
中添加行,而不是列?
excel
、
vba
我正在
使用
Excel VBA中的动态
数组
。列数(m)是固定的,但是,我不知道需要多少行(n)。这是正确的方法吗?如果是这样,我<em
浏览 39
提问于2010-10-22
得票数 10
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
SAS-100种数据转置的方法,你在用哪种?
转换数据的行列位置,你需要2小时,我1分钟就搞定
介绍一下Excel中的TRANSPOSE函数
Data Science Numpy基础(一)
机器学习之计算工具库(一)
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券