亚马逊SageMaker kMeans不会将稀疏矩阵(csr_matrix)作为输入，在使用密集矩阵之前还有其他选择吗？

文章/答案/技术大牛

发布

1回答

sparse-matrix、k-means、amazon-sagemaker

我想将sagemaker的kMeans算法应用于一个稀疏矩阵，该矩阵是用TfidfVectorizer从sklearn的库中获得的。理想情况下，我希望将输入数据以稀疏矩阵scipy.sparse.csr.csr_matrix的形式提供给Sagemaker的kMeans实现，但当我这样(kmeans.fit(kmeans.record_set(train_data)))时，我会得到以

浏览 22提问于2018-12-16得票数 0

回答已采纳

1回答

Scikit学习Logistic回归记忆泄漏

efficiency、performance、scikit-learn

我很好奇是否还有其他人碰到过这个。我有一个数据集，有大约350 k的样本，每个样本都有4k的稀疏特性。稀疏填充率约为0.5%。数据存储在带有scipy.sparse.csr.csr_matrix的dtype='numpy.float64'对象中。我将此作为sklearn的Logistic回归分类器的输入。文档表明稀疏CSR矩阵是该分类器的可接受输入。然而，当我训练分类器时，我的内存性能非常差；我

浏览 0提问于2014-10-07得票数 4

回答已采纳

3回答

使用稀疏矩阵与numpy数组

python、numpy、matrix、scipy、scikit-learn

如果我有大量的零计数，人们建议在进一步处理这些数组时使用稀疏矩阵，例如在分类器中。然而，当向Scikit 中输入numpy数组与稀疏矩阵时，它似乎没有多大区别。所以我想知道三件事：稀疏矩阵是大多数元素为零的矩阵。这是否是确定何时使用稀疏矩阵格式的适当方法--只要> 50 %的值为零？还是说以防万一才有意义呢？稀疏

浏览 5提问于2016-05-01得票数 46

回答已采纳

6回答

Ax=b线性代数系统的C++内存有效解

c++、boost、linear-algebra、lapack、umfpack

我正在使用Boost UBlas的数值库绑定来解决一个简单的线性系统。下面的代码运行良好，只是它仅限于处理相对较小的'm‘的矩阵A(m X m)。实际上，我有一个更大的矩阵，维度为m= 10^6 (最大可达10^7)。是否有现有的C++方法来解决有效使用内存的Ax=b。

浏览 3提问于2009-08-07得票数 9

回答已采纳

4回答

系统设计用于将从不同应用服务器生成的矩阵存储在公共位置

soa、system-design

在本周的亚马逊采访中，我被问到了下面的高级系统设计问题。我不清楚，所以无法很好地回答。你能就此给出一些答案吗？有一些应用服务器正在生成(key，value)形式的矩阵。在所有这些服务器中生成的矩阵具有相同的格式，但大小可以不同。我们希望将这些矩阵存储在一个位置，以便可以在该机器上执行查询。我们如何存储这些矩阵？我们可以在这方面使用面向服务的架构吗？

浏览 10提问于2021-11-20得票数 1

1回答

如何避免在枕形稀疏矩阵中插入不必要的零

python、scipy、linear-algebra

创建我的条目符合一个整洁的循环，但是这个过程比使用bsr_matrix和我不必要的密集数组要长10倍，这对将来的用例是有害的。--看起来bsr_matrix不像是可以直接与枕稀疏矩阵一起使用作为输入。使用bsr_matrix而不包括对角线块，然后添加稀疏的眼睛大大减少了零的数量(在我的测试配置中有3.5%的相关条目)和比最初的解决方案快了三分之一。得分！我能做些什么进一步减少这个矩阵的原始印记的线索

浏览 3提问于2020-10-16得票数 0

回答已采纳

4回答

Keras嵌入层:它们是如何工作的？

python、machine-learning、neural-network、keras、embedding

然而，对于Keras来说，这一步似乎是不必要的，因为我们可以简单地使用嵌入层来创建这些离散特征的特征向量表示。我的理解正确吗？

浏览 4提问于2017-03-13得票数 12

回答已采纳

1回答

深度学习中的大数据帧MemoryError

python-3.x、dataframe、deep-learning、bigdata、graph-theory

邻接矩阵假设55个感兴趣区域，从而得到55x55个矩阵。在构建深度学习模型时，采用了StellarGraph中的谱图卷积网络模型，该模型以图形对象和节点特征为输入。通过将所有被试的邻接矩阵组合而得到的稀疏块对角线矩阵生成了图对象。而节点特征是每个节点的特征(1个节点有5个特征值)，构造成密集块对角矩阵。为了利用内存消耗，我尝试<em

浏览 0提问于2019-11-30得票数 0

5回答

无估计量的plot_confusion_matrix

python、scikit-learn、confusion-matrix

0, 1]输出： [1, 2]])from sklearn.metrics import plot_confusion_matrix from mlxtend.plotting

浏览 12提问于2020-03-20得票数 8

回答已采纳

1回答

还有没有更有用的函数器用例？

c++、functor

我正在尝试理解需要使用函数器的情况。Stackoverflow和其他网站上的大多数答案都强调能够定义不同的加法器或乘法器，以获得函数器的好处。函数式函数的使用能超越它们吗？函数器的其他用途是什么？

浏览 0提问于2019-12-17得票数 0

2回答

有什么方法可以让特定的numpy数组变得奇异呢？

python、arrays、numpy、matrix

我的意思是，我希望有一种方法来回答以下问题，而不需要手动检查每个条目：对于相对较小的阵列，前两个条件很容易通过视觉检查来回答。但是，由于我的数组相当大，所以我不希望进入并手动检查每个数组元素，以查看是否满足了任何这些条件。再说一遍，我并不是在寻找这样的答案：“哦，这个<

浏览 2提问于2015-06-18得票数 1

3回答

MATLAB:基于八点算法的三维重建

matlab、computer-vision、matlab-cvst、3d-reconstruction

到目前为止，我已经得到了三角剖分的基本矩阵和结果。如何进一步进行三维重建？我对阅读网上所有的资料感到困惑。还有，这是密码。请告诉我这是否正确。

浏览 4提问于2014-10-31得票数 4

4回答

如何为聚类进行特性选择并在python中实现？

machine-learning、data-mining、clustering、feature-selection、unsupervised-learning

我试图在60-70个特性上实现k均值集群，我看到朱利安·拉莫斯( Julian )在奎拉上发表了一篇关于特性选择技术的文章，但我无法理解提到的几个步骤。我也在想，选择最好的聚类特性是否是正确的方法？我希望为选择最佳k并实现所有其他步骤的函数编写相应的函数。

浏览 0提问于2020-01-25得票数 7

4回答

如何表示隐式关系？

algorithm、database-design、search

在执行搜索时，我们还必须遍历此层次结构。

浏览 20提问于2009-03-31得票数 2

回答已采纳

3回答

无向图上的邻接矩阵

c++、performance、c++11、matrix、graph

请查看我的基于这段代码的邻接矩阵类。由于我使用std::vector创建矩阵，所以我希望存储尽可能多的节点。在整个代码中使用std::size_t可以吗？使用1表示连接，使用0表示没有连接是个坏主意吗？

浏览 0提问于2015-04-13得票数 1

回答已采纳

2回答

当键是两个整数时，C++映射还是unordered_map？

c++、dictionary、unordered-map

考虑一种情况，例如表示稀疏矩阵。例如，矩阵可以是1,000,000行x1,000,000科尔(或其他一些大的大小)，在任何特定时间，可能有50,100个或几千个单元格是非零值。不幸的是，这无法用错误进行编译：在对这个话题进行了一些谷歌搜索之后，unordered_map似乎没有被设置为使用对作为密钥据我所知，仍有4种合法选择： 1)使用map，它确实接受一对整数<e

浏览 2提问于2019-07-07得票数 2

回答已采纳

4回答

压缩二进制矩阵

language-agnostic、binary、matrix、compression

我们被要求找到一种方法来尽可能地压缩方形二进制矩阵，如果可能的话，添加冗余比特来检查并可能纠正错误。我想知道压缩二进制矩阵的最好方法是什么？在阅读了一些评论后，yes @Adam你是对的，14x14矩阵应该被压缩为128位，所以如果我只使用每个非零元素的坐标(行和列)，它仍然是160位(因为有20位)。我不是

浏览 1提问于2011-05-19得票数 6

10回答

三维矩阵:实际应用

matrix

除了图形应用之外，3d矩阵还有哪些实际应用？

浏览 0提问于2009-02-10得票数 7

1回答

计算EXCEL中矩阵中每列的最小值。

excel、excel-formula

避免使用VBA和其他非函数脚本:我可以自己设计；都是在一个函数中实现的:我在这里要实现的是只有一个和一个函数，而不是将问题分成多个段落(例如，在每个列下面复制一个MIN()函数，这样做不起作用)；的结果应该是一个可转置的数组，到目前为止，我被困在解决方案中：这里的主要问题是，我试图使用的任何函数都将整个矩阵作为单个数组输入，并计算整个矩阵的MIN()，而不是每一列。我对范围A1:D4中的4x4矩阵的当前(不<

浏览 5提问于2022-08-25得票数 1

回答已采纳

3回答

寻找大型稀疏矩阵的最小特征向量，在SciPy中比在Octave中慢100倍以上

python、scipy、octave、sparse-matrix、eigenvector

我正在尝试计算一些(5-500)个特征向量，这些特征向量对应于大型对称正方形稀疏矩阵(高达30000x30000)的最小特征值，其中不到0.1%的值是非零的。我目前在shift-invert模式(sigma=0.0)下使用scipy.sparse.linalg.eigsh，我在这个主题上的各种帖子中发现这是更好的解决方案。我在Windows上使用Anaconda，但是尝试将scipy使用的LAPACK/BLAS (这是一个巨大的痛苦)从mkl (默认Anaco

浏览 3提问于2019-12-20得票数 14

点击加载更多