2回答
如何创建COO格式的稀疏矩阵，并使pandas数据帧不解嵌到密集布局，而是保留COO格式用于row,column,data import numpy as np (3, 3) 1.0 (5, 5) 1.0
(6, 6) 1.0 也就是说，我怎样才能从这里获得一个不解套的pandas数据帧呢？
浏览 55提问于2021-08-06得票数 0
回答已采纳
2回答
我试图在回归中使用稀疏矩阵，因为在我添加虚拟变量后，有超过40,000个变量。为了做到这一点，我认为我需要向模型提供一个稀疏矩阵。但是，使用下面的代码无法将我的pandas数据帧转换为矩阵： Convert Pandas dataframe to Sparse Numpy Matrix directly 这是因为数据集太大，我遇到了内存错误下面是我如何通过运行以下命令来复制该问题的示例： import numpy a
浏览 16提问于2019-04-05得票数 1
1回答
我有一个稀疏矩阵(881900,76656)。Sprase matrix Dataframe with column(highlighted) of interest 我的数据帧和稀疏矩阵都有相同的行数，但没有共同的列。稀疏矩阵是我从tf-idf情感分析过程中得到的输出 您能指导我是否可以在python中合并这两个对象，在合并时，我认为我应该确保数据帧中的每个条目都与稀疏<
浏览 25提问于2020-06-26得票数 0
2回答
我正在从一个Pandas数据帧创建一个矩阵，如下所示：然后转换成一个稀疏矩阵：有没有办法从df直接转到稀疏矩阵？
浏览 0提问于2013-12-09得票数 48
回答已采纳
我有一个有大约一百万个键的字典，每个值都是一个10000维的稀疏列表，例如，
dic = {'a': [0] * 10000, 'b': [0] * 1234 + [1, 2] + [0] * 8764
浏览 16提问于2019-11-26得票数 0
3回答
我有一个稀疏矩阵，X，由TfidfVectorizer创建，其大小是(500000, 200000)。我想把X转换成一个数据帧，但是我总是会收到一个内存错误。我是否可以在没有内存错误的情况下从X创建一个稀疏的数据？
我在Google上运行我的代码，我认为它为我提供了不到100 GB的内存。
浏览 0提问于2021-04-10得票数 1
我正在尝试删除我的数据帧中的一些空行。下面的代码显示数据类型确实是稀疏的。int64, 0]Length: 3990, dtype: object 当我尝试删除空的用户(转置之后的行)时，数据类型正在更改=0).any()] 数据类型： tracks4UGxnxGlpc7BB8Cbu8vITC object
63diy8Bzm0
浏览 12提问于2020-07-04得票数 0
回答已采纳
2回答
我正在开发基于pandas DataFrame对象的工具。我希望将scipy稀疏矩阵保留为DataFrame的列，而不是将其按行转换为dtype('O')的列表/数值数组。下面的代码片段不起作用，因为pandas将矩阵视为标量，并建议添加索引。当在矩阵中的行索引上提供pd.RangeIndex时，矩阵将对数据帧中的每一行重复(因为pandas认为它是标量)。CSR<em
浏览 12提问于2016-09-12得票数 4
回答已采纳
我有一个形状(X，Y)的Pandas数据帧对象，看起来如下：[4, 5, 6],以及形状(X，Z)的numpy稀疏矩阵(CSC)，其形状如下所示[0, 0, 1],如何在新的命名列中将矩阵中的内容添加到数据帧中，以便数据框架将以如下方式结束：[4, 5,6, [0, 0, 1]],
[7,
浏览 6提问于2013-09-05得票数 108
回答已采纳
我有一个从csv文件中保存/读取的DataFrame，我想从它创建一个术语密度矩阵DataFrame。根据herrfz的建议，我使用了中的CounVectorizer。https://stackoverflow.com/questions/22205845/efficient-way-to-create-term-density-matrix-from-pandas-dataframe3 1 3 这种实现存在内存伸缩性
浏览 4提问于2014-03-06得票数 0
1回答
我正在使用一个大约26万行，3M列和26M非零值的稀疏矩阵(以matrix Market格式存储)。我还有描述每行和每列的元数据的JSON文件。我需要在这个矩阵上执行矩阵运算，即矩阵乘积，尽管肯定还需要其他运算。我一直在使用我的矩阵和字典(来自JSON)，每个字典都将行/列索引链接到它的元数据值。它不是理想的，尽管它是有效的。我知道Pandas/Dato
浏览 0提问于2015-08-30得票数 1
我有一个很大但非常稀疏的矩阵(50,000行*100,000列，只有10%的值是已知的)。这个矩阵的每个已知元素都是一个从0.00到1.00的浮点数，这些已知值存储在python字典中，格式如下： 'c2': {'r2':0.65, 'r4':0.87} }
现在的问题是如何有效地从这个字典中构建一个pandas<
浏览 0提问于2014-12-19得票数 6
calculate_avg_sentences_length)这是我的数据框架
浏览 40提问于2021-05-29得票数 0
1回答
按索引位置从稀疏数据帧中选择行
、、、、
在典型的python数据帧中，很容易根据索引选择所需的行：然而，使用这种方法来获取大量稀疏数据帧(特别是73,000行，8,000列)的大量子集似乎是非常密集的-我的内存迅速增加，计算机崩溃。有没有从稀疏数据帧中选择行的另一种更容易计算的方法？或者，我可以将这个数据帧转换成一个实际的稀
浏览 3提问于2016-07-07得票数 3
如何从存储在Pandas DataFrame中的分类数据中为巨大的特征向量(50000 X 100000)创建CSR/COO格式的稀疏矩阵？我使用Pandas get_dummies()函数创建特征向量，但它返回一个MemoryError。我如何避免这种情况，而是以稀疏矩阵CSR格式生成它？
浏览 1提问于2015-11-10得票数 3
1回答
我有一个包含许多空值的稀疏Pandas数据帧，我希望对其进行过滤，以便在最终数据集中只保留具有超过10个浮点型条目的行和列。col for col, val = df.count(axis=1, numeric_only='float') if val < 10], axis=1, inplace=True) 谁能告诉我在我的数据帧中删除稀疏列的最好方法是什么
浏览 16提问于2020-06-29得票数 3
我正在尝试从一个稀疏的numpy矩阵创建一个SparseSeries列表。创建lil_matrix很快，并且不消耗大量内存(实际上，我的维度更多的是数百万，即1500万个样本和400万个特征)。从表面上看，熊猫SparseSeries并不是真的稀疏，还是我做错了什么？最终目标是在此基础上创建一个SparseDataFrame (就像在我提到的其他主题中一样)。from scipy.sparse import lil_matrix, csr_matriximport pandas</
浏览 1提问于2015-05-21得票数 1
3回答
我正在将包含两列(A和B)的记录列表转换为矩阵表示形式。我一直在使用pandas中的pivot函数，但结果相当大。pandas支持旋转为稀疏格式吗？我知道我可以将其旋转，然后将其转换为某种稀疏表示，但并不像我希望的那样优雅。我的最终目标是将其用作预测模型的输入。
或者，在pandas之外是否有某种稀疏枢轴功能？，该矩阵可以包含所有可能的人和物的组合，但它不是稀疏的。稀疏矩阵占用的空
浏览 2提问于2015-07-28得票数 36
回答已采纳
我将把数据帧转换成scipy.sparse矩阵，这样我就可以将它用作另一个库的输入。编辑:我想最简单的方法是将DataFrame转换为稀疏矩阵，进行矩阵分解，将<e
浏览 3提问于2018-10-29得票数 1
保存到SQL或从SQL加载的大型稀疏矩阵数据与Numpy文件数据在SQL Server DataBase表中管理稀疏矩阵的长期存储是疯狂的吗？我会将稀疏
浏览 1提问于2020-10-10得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
