如何将pandas数据帧中的稀疏矩阵转换为密集矩阵？

文章/答案/技术大牛

发布

1回答

将压缩的稀疏矩阵转换为数据帧

python、python-3.x、pandas、numpy、dataframe

在尝试将一个热编码值的大约(2,000,000x3)数组转换为数据帧时，我遇到了“DataFrame构造函数调用不正确！”错误。我还显式地尝试过将数组包装在np.asarray()中，但得到了“必须传递2-d输入”错误。我希望到dataframe的无错误转换，但不能得到它。

浏览 0提问于2019-08-29得票数 0

2回答

如何打印整个稀疏矩阵？

python、scipy

我想打印整个矩阵。当我打印X时，它告诉我除零以外的值的存储位置。我可以打印包含零的整个矩阵吗？ X = sparse.csr_matrix(1./2.

浏览 15提问于2018-08-22得票数 4

3回答

在pandas中高效地创建稀疏数据透视表？

python、pandas、scipy、scikit-learn、sparse-matrix

我正在将包含两列(A和B)的记录列表转换为矩阵表示形式。我一直在使用pandas中的pivot函数，但结果相当大。pandas支持旋转为稀疏格式吗？我知道我可以将其旋转，然后将其转换为某种稀疏表示，但并不像我希望的那样优雅。我的最终目标是将其用作预测模型的输入。或者，在pandas之外是否有某种稀疏枢轴功能？，该矩阵<

浏览 2提问于2015-07-28得票数 36

回答已采纳

2回答

用稀疏矩阵作为R中游标包的输入

r、matrix、sparse-matrix

概述library(matrix)、标点符号删除、词干处理等预处理后，对数据集中的描述进行了分析。将创建文档项矩阵，然后将其转换为稀疏</

浏览 0提问于2016-09-27得票数 3

回答已采纳

2回答

如何在Python中高效地保存/加载一个稀疏列表的字典？

python、sparse-matrix、pickle

我有一个有大约一百万个键的字典，每个值都是一个10000维的稀疏列表，例如， dic = {'a': [0] * 10000, 'b': [0] * 1234 + [1, 2] + [0] * 8764通过pickle转储对象效率不是很高，因为它占用大量磁盘空间。有没有一种方法/包可以有效地保存/加载这种对象？

浏览 16提问于2019-11-26得票数 0

2回答

将稀疏枕木矩阵加载到现有的numpy稠密矩阵中

python、numpy、scipy、numerical-computing

假设我有一个巨大的块状矩阵，，，占几十千兆字节。分配这个内存需要不可忽略的时间.我是否可以将这些稀疏矩阵中的一个加载到A中，而不是每次我想将稀疏<em

浏览 0提问于2012-01-27得票数 1

回答已采纳

1回答

Armadillo能有效地将稀疏矩阵和稀疏矩阵乘成稠密的结果吗？

c++、armadillo

它有稀疏矩阵的SpMat<float>和稠密矩阵的Mat<float>。假设我有稀疏矩阵S_a和S_b，以及稠密矩阵D。我需要计算产生的S_a*S_b和S_a*D，结果在这两种情况下都会很密集。我可以将稀疏矩阵转换为密集矩阵，然后再进行乘法，但这将是效率低下的(这些矩阵</em

浏览 4提问于2017-10-24得票数 0

回答已采纳

2回答

将Pandas* SparseDataframe转换为Scipy sparse csc_matrix*

python、pandas、numpy、scipy

我想把熊猫的SparseDataFrame转换成scipy.sparse.csc_matrix。但我不想先把它转换回稠密矩阵。基本上，我需要的是进一步从df获得一个scipy.sparse.csc_matrix。有办法做到这一点吗？

浏览 0提问于2016-12-15得票数 3

2回答

在Python中从大型数据帧创建稀疏矩阵

python、out-of-memory、linear-regression、sparse-matrix

我试图在回归中使用稀疏矩阵，因为在我添加虚拟变量后，有超过40,000个变量。为了做到这一点，我认为我需要向模型提供一个稀疏矩阵。但是，使用下面的代码无法将我的pandas数据帧转换为矩阵： Convert Pandas dataframe to Sparse Numpy Matrix directly 这是因为数据集太大，我遇到了内存错误list('ABCD'

浏览 16提问于2019-04-05得票数 1

1回答

python、pandas、numpy

我有一个pandas数据帧，其中包含(userId, movieId, rating)格式的行。UserIds和movieIds是任意字符串。我想将它转换为(# of users, # of movies)维的密集矩阵，如果该行存在于第一个单元中，则每个单元为rating，否则为0。我如何在pandas / numpy中做到这一点？

浏览 13提问于2021-11-09得票数 0

1回答

将字符串转换为稀疏矩阵的csv

python、csv、matrix、scipy

csv文件，格式如下：1x,restaurant2y,café3z,italian restaurant2y 0 - 1 - 1 - 0也许有必要创建一个映射到矩阵的我需要这个矩阵来计算来自sklearn.metrics.pairwise导入cosine_sim

浏览 3提问于2018-07-24得票数 0

2回答

标题: SVC-Scikit学习问题

python-2.7、error-handling、scikit-learn、svm

我的数据是稀疏的，训练和测试集除以90:10。有什么直接的原因和解决办法吗？

浏览 1提问于2016-12-10得票数 0

回答已采纳

1回答

我有一个来自epinion数据集的.txt文件，它是一个稀疏表示(即，23 387 5表示“用户23已经将项目387评为5”的事实)。从这个稀疏格式，我想把它转换成它的密集表示，这样我就可以对它进行矩阵分解。我已经从numpy加载了带有loadtxt()的文件，它是一个[664824, 3]数组。我使用scipy.sparse.csr_matrix将其传输到numpy数组，并使用scipy中的to

浏览 8提问于2019-11-01得票数 1

回答已采纳

1回答

通过将完全密集数组转换为稀疏矩阵，是否丢失了任何信息？

python、numpy、scikit-learn、scipy、sparse-matrix

让我们假设A是一个(scipy)稀疏矩阵，tf值，B是一个(numpy)数组，具有数据的一些附加特性。将完全密集数组(B)转换为

浏览 0提问于2019-08-05得票数 0

1回答

ColumnTransformer，余数-传递给我错误

machine-learning、data-preprocessing、column-tansformer

我有一个小数据集，像这样 [1,2.0,'a','mango','2017-07-07',1], [2,2.55,'b','apple','2017，Xs) 778 converted_Xs = 779 check_array(X，accept_sparse=True，force_all_finite=False) 780用于Xs 781 782中的X，但ValueErro

浏览 7提问于2022-06-06得票数 1

回答已采纳

2回答

作为DataFrame列的Scipy稀疏矩阵

python、pandas、dataframe、scipy、sparse-matrix

我正在开发基于pandas DataFrame对象的工具。我希望将scipy稀疏矩阵保留为DataFrame的列，而不是将其按行转换为dtype('O')的列表/数值数组。下面的代码片段不起作用，因为pandas将矩阵视为标量，并建议添加索引。当在矩阵中的行索引上提供pd.RangeIndex时，矩阵将对数据

浏览 12提问于2016-09-12得票数 4

回答已采纳

2回答

如何将SciPy稀疏矩阵读入Tensorflow占位符

tensorflow、scipy

通过这种方式可以读取密集数据：m = np.ones((2, 3))sess.run(placeholder, feed_dict={placeholder: m}) 如何将枕稀疏矩阵(例如scipy.sparse.csr_matrix

浏览 1提问于2017-05-11得票数 1

1回答

如何在pytorch中将稀疏矩阵与稀疏矩阵元素相乘

python、sparse-matrix、elementwise-operations

在pytorch中，我可以先将两个稀疏矩阵相乘，然后将它们转换为密集的形式。k], torch.Size([num_nodes,num_nodes])).to_dense()但是当图形很大时，这种方法需要大量的内存那么，在pytorch中如何将稀疏矩阵与稀疏矩阵元素相乘呢？非常感谢。

浏览 18提问于2021-02-18得票数 1

1回答

稀疏矩阵与MultinomialNB一起工作吗？

python、machine-learning、scikit-learn、sparse-matrix、naivebayes

MultinomialNB是否采用稀疏矩阵来拟合数据？由于内存错误，我似乎无法将其转换为密集矩阵toarray()。如果NB分类器不采用稀疏矩阵，那么在不将数据转换为稠密矩阵的情况下，我可以使用什么替代方法来拟合数据呢？

浏览 1提问于2019-03-10得票数 0

回答已采纳

1回答

如何在不更改格式的情况下从稀疏数据帧中删除行

python-3.x、pandas、sparse-dataframe

我正在尝试删除我的数据帧中的一些空行。下面的代码显示数据类型确实是稀疏的。(转置之后的行)时，数据类型正在更改。=0).any()] 数据类型： tracks4UGxnxGlpc7BB8Cbu8vITC object 63diy8Bzm0pHMAU37By2Nh，但我更喜欢保持数据帧

浏览 12提问于2020-07-04得票数 0

回答已采纳

点击加载更多

将压缩的稀疏矩阵转换为数据帧

如何打印整个稀疏矩阵？

在pandas中高效地创建稀疏数据透视表？

用稀疏矩阵作为R中游标包的输入

如何在Python中高效地保存/加载一个稀疏列表的字典？

将稀疏枕木矩阵加载到现有的numpy稠密矩阵中

Armadillo能有效地将稀疏矩阵和稀疏矩阵乘成稠密的结果吗？

将Pandas* SparseDataframe转换为Scipy sparse csc_matrix*

在Python中从大型数据帧创建稀疏矩阵