我正在使用python中的大型稀疏矩阵(从文本生成的文档特征矩阵)。这需要相当多的处理时间和内存来处理这些，我想稀疏矩阵可以提供一些改进。但我担心使用稀疏矩阵库会使插入其他python (和R，通过rpy2)模块变得更加困难。
已经跨过这座桥的人能提供一些建议吗？在python/R中使用稀疏矩阵在性能、可伸缩性和兼容性方面有什么优缺点？
浏览 5提问于2011-04-22得票数 8
回答已采纳
2回答
我在python中有一个CSR稀疏格式的稀疏矩阵，我想将它导入MATLAB。MATLAB没有CSR稀疏格式。对于所有类型的矩阵，它只有一个稀疏格式。由于矩阵是非常大的密集格式，我想知道如何导入它作为一个MATLAB稀疏矩阵？
浏览 3提问于2014-09-08得票数 8
回答已采纳
1回答
我有一个包含模型特征的大型稀疏矩阵(95000,12000)。我想用python中的Sklearn.cross_validation模块做一个分层的K折叠交叉验证。然而，我还没有找到一种在python中索引稀疏矩阵的方法。
有什么方法可以在我的稀疏特征矩阵上执行StratifiedKFold吗？
浏览 1提问于2015-11-08得票数 0
我是Python新手，您能帮我介绍一些基本的稀疏矩阵操作吗：
提前感谢！
浏览 3提问于2013-04-28得票数 1
回答已采纳
1回答
我有两个稀疏矩阵A(亲和力矩阵)和D(对角矩阵)，维数为100000*100000。我必须计算拉普拉斯矩阵L= D^(-1/2)*A*D^(-1/2)。我正在使用scipy CSR格式的稀疏矩阵。我没有找到任何方法来求稀疏矩阵的逆。如何求稀疏矩阵的L和逆矩阵？还建议使用python来做这件事是否有效，或者我是否应该调用matlab函数来计算L？
浏览 1提问于2012-02-12得票数 3
2回答
稀疏矩阵的高效最近邻搜索
、、、
我有一个庞大的数据(文本)语料库，我已经将其转换为稀疏术语文档矩阵(我使用scipy.sparse.csr.csr_matrix来存储稀疏矩阵)。我希望为每个文档找到前n个最近的邻居匹配。我希望Python scikit-learn库中的NearestNeighbor例程(准确地说是sklearn.neighbors.NearestNeighbor)可以解决我的问题，但是使用空间分区数据结构(如KD trees或Ball trees )的高效算法不能处理稀疏矩阵。只有蛮
浏览 1提问于2013-08-11得票数 9
在Python中有没有一种高效的增量更新稀疏矩阵的方法？H = lil_matrix((n,m)) h(i,j) += compute_something
这种构建稀疏矩阵的方法似乎相当慢(lil_matrix是最快的稀疏矩阵类型)。有没有一种方法(像使用dict的dict或其他方法)来有效地构建稀疏矩阵H？
浏览 0提问于2016-03-03得票数 2
1回答
稀疏矩阵商的确定
、、、、
我希望在python2.7中划分两个稀疏矩阵，本质上是k = numerator / denominator，其结果是sp.csr_matrix类型的稀疏矩阵。requires CSC matrix format，上述警告对于确定k作为两个稀疏矩阵之间的商的恒等式意味着什么：在python (
浏览 1提问于2016-10-14得票数 0
回答已采纳
我正在寻找一个C/C++接口，用于在Linux中高效地计算巨大的稀疏矩阵。矩阵可以是数百万倍、数百万/数千倍。我检查了一些现有的库，但它们似乎都不能满足我的所有需求。1，我需要通过动态添加元素来创建一个稀疏矩阵。(不适用于SparseLib++)
2，我还需要能够创建一个稀疏对角矩阵，以便我可以用不同的标量缩放另一个稀疏矩阵的列。(没有找到用于此的库，也许还有另一种方法可以按列缩放稀疏矩阵
浏览 0提问于2010-12-11得票数 0
1回答
我有一个稀疏矩阵(881900,76656)。Sprase matrix Dataframe with column(highlighted) of interest 我的数据帧和稀疏矩阵都有相同的行数，但没有共同的列。稀疏矩阵是我从tf-idf情感分析过程中得到的输出 您能指导我是否可以在python中合并这两个对象，在合并时，我认为我应该确保数据帧中的每个条目都与稀疏矩阵的相应条目对齐。
浏览 25提问于2020-06-26得票数 0
2回答
我正在使用python中的稀疏矩阵，我想知道是否有一种有效的方法来删除稀疏矩阵中的重复行，并且只保留唯一的行。我没有找到与它相关的函数，也不确定如何在不将稀疏矩阵转换为密集矩阵并使用numpy.unique的情况下完成它。
浏览 0提问于2017-09-09得票数 5
在运行我的实验时，我注意到在GPU支持下使用tensorflow的计算时间出现了奇怪的下降。每次迭代(1000个学习步骤)，模型大小增加200个隐藏神经元(具有一个隐藏层的简单完全连接的nn )。现在，我测量了每次迭代所需的时间，并注意到不同版本的算法在同一地点出现了这种下降。因此，这可能与机器上的某些外部事件无关，因为实验是连续运行的。在达到一定的模型大小后，tensorflow有什么可以利用的吗？
浏览 2提问于2018-04-15得票数 0
4回答
有人知道如何在python中从一个非常大的稀疏矩阵计算相关矩阵吗？基本上，我正在寻找像numpy.corrcoef这样的东西，可以在scipy稀疏矩阵上工作。
浏览 0提问于2013-10-08得票数 17
1回答
我想知道如何在Python中有效地添加稀疏矩阵。
我有一个程序，它将一个大任务分成多个子任务，并将它们分布在几个CPU上。每个子任务都会产生一个结果(一个格式为：lil_matrix的稀疏矩阵)。稀疏矩阵的维数是: 100000x500000，这是相当大的，所以我真的需要一种最有效的方法来将所有产生的稀疏矩阵求和为一个单一的稀疏矩阵，使用一些C编译的方法或类似的方法。
浏览 2提问于2010-12-31得票数 7
回答已采纳
1回答
我的数据集太大了，正如所建议的那样，我需要使用稀疏矩阵。我的问题是，将元素添加到稀疏矩阵的正确方法是什么？比方说，我有一个矩阵X，它是我的输入。X = np.random.randint(2, size=(6, 100))X2 = csr_matrix(X)
我有稀疏矩阵，但如何向稀疏矩阵添加另一个元素？.,0,1,0到一个<e
浏览 0提问于2012-12-06得票数 7
回答已采纳
我有一个数据文件存储一个大型matlab稀疏矩阵(Matlab7.3)，需要在我的python程序中使用。我使用h5py加载这个稀疏矩阵，发现有3种数据结构与稀疏矩阵相关联。假设稀疏矩阵的名称为M，3种数据结构为M' data '，M‘’ir‘，M’‘jc’。最初我认为M‘in’和M‘’jc‘存储非零项的行索引和列索引，但我刚刚发现在M’‘jc’中存在一些值大于稀疏矩阵的行数。有
浏览 2提问于2013-10-07得票数 2
回答已采纳
1回答
我使用的是相当大的旋转矩阵，它具有具有大量零的固有属性。为了减少内存消耗，并在将这些旋转矩阵与其他矩阵/向量相乘时，可能会减少计算量，我想使用稀疏矩阵数据结构。我已经找到了关于SciPy稀疏矩阵的文档，但是我不太明白这些文档是如何工作的，它们之间有什么区别。()
什么是Python中用于旋转矩阵的最佳稀疏数据结构？
浏览 2提问于2015-03-07得票数 2
回答已采纳
1回答
稀疏矩阵Python的秩
、、、
我有一个稀疏的csr矩阵sparse.csr_matrix(A)，我想要计算它的矩阵秩 我知道有两种选择:我可以将其转换为numpy矩阵或数组(.todense()或.toarray())，然后使用np.linalg.matrix_rank(A)，这违背了我使用稀疏矩阵格式的目的，因为我有非常大的矩阵。另一种选择是计算矩阵的奇异值分解(sparse matrix svd in python)，然后从中推导矩阵秩。 有
浏览 39提问于2019-02-25得票数 2
1回答
稀疏矩阵的内部处理
、、、、
我一直在比较Python和R的几个PCA实现的性能，并注意到一个有趣的行为：
虽然用Python计算稀疏矩阵的PCA似乎是不可能的(唯一的方法是 TruncatedSVD，但它不支持以均值为中心的计算方法他们的论点是，它会破坏矩阵的稀疏性。其他实现，如Facebook的PCA算法或scikit学习中的PCA/随机PCA方法，由于类似的原因不支持稀疏矩阵。虽然所有这些对我来说都有意义，但一些R包，如、rsvd等，能够处理稀疏<
浏览 2提问于2018-06-14得票数 28
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
对象存储
云直播活动推荐
腾讯云开发者
