Numpy:智能矩阵乘到稀疏结果矩阵
Numpy:智能矩阵乘到稀疏结果矩阵
提问于 2017-08-10 09:48:06
在具有numpy的python中，假设我有两个矩阵：
S，稀疏x*x矩阵M，一个稠密的x*y矩阵
现在我想做np.dot(M, M.T)，它将返回一个密集的x*x矩阵S_。
然而，我只关心S中非零的单元格，这意味着如果我这样做了，它不会对我的应用程序产生影响。
S_ = S*S_
显然，这将是对操作的浪费，因为我想把S中所有不相关的单元放在一起。记住，在矩阵乘法中
S_[i,j] = np.sum(M[i,:]*M[:,j])
因此，我只想对i,j这样的S[i,j]=True执行此操作。
这是否得到在C中运行的numpy实现的支持，这样我就不需要使用python循环来实现它了吗？
编辑1解决了我还有这个问题，其实M现在也是稀疏的。
现在，给定S的行和科尔，我实现它如下：
data = np.array([ M[rows[i],:].dot(M[cols[i],:]).data[0] for i in xrange(len(rows)) ])
S_ = csr( (data, (rows,cols)) )..。但它仍然是缓慢的。有什么新想法吗？
编辑2:给出了一个很好的解决方案，但是我想节省更多的内存。
解决办法是做以下工作：
data = M[rows,:].multiply(M[cols,:]).sum(axis=1)然后利用rows、cols和data建立了一个新的稀疏矩阵。
但是，在运行上面的行时，scipy构建了一个(连续的) numpy数组，它包含的元素与第一个子矩阵的nnz和第二个子矩阵的nnz一样多，在我的例子中，这可能导致MemoryError。
为了节省更多的内存，我想迭代地将每一行与其各自的“partner”列相乘，然后求和并丢弃结果向量。使用简单的python来实现这一点，基本上我回到了非常慢的版本。
有快速解决这个问题的方法吗？
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-04-05 14:12:46
下面是如何使用NumPy/SciPy对密集和稀疏的M矩阵进行处理：
import numpy as np
import scipy.sparse as sp
# Coordinates where S is True
S = np.array([[0, 1],
[3, 6],
[3, 4],
[9, 1],
[4, 7]])
# Dense M matrix
# Random big matrix
M = np.random.random(size=(1000, 2000))
# Take relevant rows and compute values
values = np.sum(M[S[:, 0]] * M[S[:, 1]], axis=1)
# Make result matrix from values
result = np.zeros((len(M), len(M)), dtype=values.dtype)
result[S[:, 0], S[:, 1]] = values
# Sparse M matrix
# Construct sparse M as COO matrix or any other way
M = sp.coo_matrix(([10, 20, 30, 40, 50], # Data
([0, 1, 3, 4, 6], # Rows
[4, 4, 5, 5, 8])), # Columns
shape=(1000, 2000))
# Convert to CSR for fast row slicing
M_csr = M.tocsr()
# Take relevant rows and compute values
values = M_csr[S[:, 0]].multiply(M_csr[S[:, 1]]).sum(axis=1)
values = np.squeeze(np.asarray(values))
# Construct COO sparse matrix from values
result = sp.coo_matrix((values, (S[:, 0], S[:, 1])), shape=(M.shape[0], M.shape[0]))页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/45610202
复制相关文章
相似问题
腾讯云开发者
