将多个稀疏数组保存在一个大型稀疏数组中

文章/答案/技术大牛

发布

1回答

initialization、julia、sparse-matrix、julia-jump

我一直在尝试在Julia JuMP中实现一些代码。我的代码的想法是，我在while循环中有一个for循环，它运行S次。在每个循环中，我解决一个子问题并获取一些变量，如果子问题是最优的，则获取opt=1，如果子问题不是最优的，则获取opt=0。目前我使用for-loop一次保存一个，这是相当昂贵的。所以问题是我的ubar，vbar和wbar的值是稀疏轴数组。我试着用其他方法保存它们，比如创建一个3d稀疏轴数组，但我不能工作，因为我不知道

浏览 18提问于2020-06-16得票数 1

1回答

拟火花:稀疏向量到枕叶稀疏矩阵

apache-spark、scipy、pyspark、tf-idf

我有一列短句的星星之火数据，还有一个带有范畴变量的列。我想在句子上执行tf-idf，在分类变量上执行one-hot-encoding，然后一旦它变得更小，就输出到驱动程序上的稀疏矩阵(对于一个scikit-learn模型)。以稀疏的形式从火花中获取数据的最佳方法是什么？在稀疏向量上似乎只有一个toArray()方法，它输出numpy数组。然而，文档中确实有这样的说法: say稀疏数组。还请记住，tf_idf值实际上是

浏览 16提问于2016-11-11得票数 12

回答已采纳

1回答

如何利用稀疏矩阵生成滑动窗口特征

python、numpy、scipy

将特征向量的稀疏CSR2d输入矩阵转换为滑动窗口特征向量的稀疏CSR2d矩阵。因此，对于大小为2的窗口，以一个非稀疏的例子为例： [3, 4, 5],变成： n = a.shape[0] 然而，在我的例子中，

浏览 1提问于2017-11-28得票数 0

回答已采纳

2回答

关于数据结构的建议！

c、data-structures

我对数据结构有以下要求：任何指向这个方向的指示都是有帮助的。

浏览 6提问于2010-06-01得票数 1

0回答

如何在Pandas中创建稀疏布尔掩码？

pandas、numpy、sparse-matrix

cols) : mask= dfm if i==0 else np.column_stack((mask, dfm))即使在Pandas中已经有稀疏

浏览 6提问于2017-01-11得票数 2

2回答

如何解决javascript引擎的Array实现的大型稀疏数组的低效率问题？

javascript、arrays、sparse-matrix

这是我先前问题的后续，人们可能会认为，在形式上，应该要求find返回未定义的缺失值，而不是跳过它们，因此永远无法返回它们。但是，这似乎是这些迭代函数很少有用的属性，而规范应该说将跳过稀疏数组中的漏洞。这似乎可以归

浏览 2提问于2022-04-30得票数 -4

回答已采纳

1回答

numpy的大型磁盘阵列

python、arrays、numpy、sparse-matrix

我有一个稀疏数组，它似乎太大了，无法有效地在内存中保存(2000x2500000，浮点数)。我可以将它形成一个稀疏lil_array (scipy)，但是如果我尝试输出一个列或行压缩的稀疏数组(A.tocsc()，A.tocsr())，我的机器就会耗尽内存(而且文本文件4.4G中的数据和经过pickeled处理的lil数组12G之间也存在严重的不匹配--如果有一个更接近原始数据大小

浏览 0提问于2012-04-26得票数 6

2回答

张量的稀疏表示是什么？

tensorflow

在函数的描述中，它被声明为Converts a sparse representation into a dense tensor.。那么什么是稀疏表示呢？张量是以某种压缩格式表示的，而不是多维数组吗？

浏览 6提问于2017-06-27得票数 1

3回答

Matlab稀疏张量

matlab、multidimensional-array、matrix、sparse-matrix

Matlab支持大型稀疏张量的高效运算吗？我意识到我总是可以将张量存储为矩阵的单元数组的组合，但这需要使用循环，我希望避免这种情况。由于我所处理的数据非常大，所以不能考虑非稀疏表示。

浏览 2提问于2011-11-22得票数 5

回答已采纳

1回答

是什么原因导致了ColumnTransformer出现这种奇怪的行为？[Python/sklearn]

python、scikit-learn

)print(scaler.fit_transform(samples[:6])) 因此，对于samples[:5]数组子集但是，当我对samples[:6]数组子集执行转换时我明白了 (0, 0) 1.0 (0, 7) 1.0 (1,

浏览 11提问于2019-10-19得票数 1

2回答

scipy.linalg.expm优于scipy.sparse.linalg.expm？

python、scipy、sparse-matrix

我很难理解什么时候使用稀疏版本的expm会比普通版本更好。如果我取一个密度矩阵M，它恰好是稀疏的，大小为4000 x 4000矩阵并计算scipy.linalg.expm(M)，这大约需要25秒。

浏览 5提问于2021-12-28得票数 2

3回答

在Mathematica中实现稀疏数组外的有效替代？

wolfram-mathematica、outer-join、sparse-array

假设我有两个非常大的列表{a1，a2，…}和{b1，b2，…}，其中所有ai和bj都是大型稀疏数组。为了提高内存效率，我将每个列表存储为一个综合稀疏数组。现在我想在所有可能的ai和bj对上计算一些函数f，其中每个结果fai，bj都是稀疏数组。顺便说一句，所有这些稀疏数组都有相同的维数。重要的是因为返回值是稀疏数组的列表，而在我感兴趣的情况下，一个

浏览 5提问于2011-12-22得票数 9

2回答

如何有效地将稀疏矩阵垂直组合

matlab、indexing、block、sparse-matrix

我的目标是将多个稀疏矩阵组合在一起，形成一个大型稀疏矩阵。我能想到的唯一两个想法是：(1)创建一个大型稀疏矩阵并覆盖某些块；(2)单独创建块，使用vertcat形成最后的稀疏矩阵。然而，我读过稀疏矩阵是相当低效的，我也读过vertcat在计算上并不完全有效。(我没有考虑使用for循环，因为它们效率很低)。那我还有别的选择吗？

浏览 6提问于2013-03-14得票数 5

回答已采纳

2回答

如何在应用程序启动时创建(并保存在RAM中) sparsearray？(android)

java、android、sparse-array

在应用程序中有一个活动，当触发时，它会生成一个稀疏数组，并用数据填充它。现在，这个过程在模拟器上需要1分钟，这是非常长的。因此，我希望在应用程序启动时创建一次稀疏数组，并在应用程序的整个生命周期内将稀疏数组保存在RAM中。当活动被触发时，它应该访问RAM中的稀疏数组，而不是创建新的稀疏数组，从而节省时间和处理能

浏览 5提问于2013-03-20得票数 0

1回答

Python / Cython中的快速n维稀疏数组

python、cython、sparse-matrix、sparse-array

我有一个涉及大型n维数组的应用程序，它非常稀疏。scipy.sparse有一个有用的“矢量化获取和设置”特性，因此可以使用Cython快速填充稀疏矩阵。用于稀疏<e

浏览 3提问于2013-11-21得票数 22

回答已采纳

3回答

有效的多线程写入访问稀疏数组？

c++、arrays、multithreading

我有一个大型数组double*，并有多个线程写入它。具体来说，在我的例子中，如何利用数组是稀疏的，并且每个线程通常会写入数组的不同部分；并发写入相同的索引应该很少见，并且主要发生在少数数组索引上。编辑:准确地说，每个线程在多个数

浏览 3提问于2014-04-26得票数 1

回答已采纳

1回答

学习- ValueError:数组太大了.

bigdata、scikit-learn

我有一个包含字符和90000意图的大型数据集，当我在ValueError代码之前有以下代码时，错误是plot_kmeans_digits.py :数组太大了： ( data2=list(csv.DictReader

浏览 0提问于2015-03-23得票数 3

1回答

通过将完全密集数组转换为稀疏矩阵，是否丢失了任何信息？

python、numpy、scikit-learn、scipy、sparse-matrix

让我们假设A是一个(scipy)稀疏矩阵，tf值，B是一个(numpy)数组，具有数据的一些附加特性。将完全密集数组(B)转换为

浏览 0提问于2019-08-05得票数 0

2回答

从scipy稀疏矩阵创建稀疏RDD

python、numpy、apache-spark、scipy、pyspark

我有一个来自scipy的大型稀疏矩阵(300k x 100k，全部为二进制值，大部分为零)。我想将这个矩阵的行设为RDD，然后在这些行上做一些计算--对每行计算一个函数，对成对的行计算函数，等等。关键是它是相当稀疏的，我不想分解集群-我可以将行转换为SparseVectors吗？或者把整个东西都转换成SparseMatrix？你能举一个例子，你读入一个稀疏数组，将行设置为RDD，然后从这些行的笛卡尔

浏览 0提问于2016-11-17得票数 3

2回答

是否使用lseek扩展保证创建稀疏文件的文件

c、linux、solaris、sparse-matrix

我一直在通过使用文件映射来减少程序的内存占用，该程序使用了几个我一直在处理的大型数组。因为我不知道这些数组的期望大小，所以我高估了数组的大小到了我知道数组不会达到的程度，然后将文件截断到最终的大小，我就完成了数组。幸运的是，我用来创建映射文件的代码(在这篇文章的底部)在我尝试过的每台机器上都创建了稀疏文件。如果不是这样，就会出现磁盘空间问题。问题是:在映射之前调用lseek扩展文件是否就能保证创建一个稀疏文件，或者至

浏览 0提问于2012-12-17得票数 2

回答已采纳

点击加载更多