1回答
我有一个包含许多空值的稀疏Pandas数据帧，我希望对其进行过滤，以便在最终数据集中只保留具有超过10个浮点型条目的行和列。col for col, val = df.count(axis=1, numeric_only='float') if val < 10], axis=1, inplace=True) 谁能告诉我在我的数据帧中删除稀疏列的最好方法是什么
浏览 16提问于2020-06-29得票数 3
1回答
我在开发服务器和生产服务器之间存在不匹配，其中表中的列在生产中使用稀疏子句定义，而不是在开发中定义。由于我不关心稀疏提供的空间节省，从列定义中删除"Is稀疏“值有多安全？有什么发现吗？
浏览 5提问于2017-10-25得票数 1
回答已采纳
我使用一个矩阵作为输入创建了xgb矩阵，但是当我减少矩阵数据中列的数量时，我会收到一个错误。])),
Xgb.setinfo中的错误(dmat，name(P)，p[1])：标签的长度必须等于输入数据中的行数
浏览 3提问于2016-03-07得票数 4
scipy.sparse.csr_matrix和scipy.sparse.lil_matrix有什么不同？这些矩阵表示稀疏矩阵，但我不知道有什么不同。
浏览 4提问于2021-09-17得票数 3
我有一个数据集，其中有~30k个唯一的文档，这些文档被标记是因为它们中有一个特定的关键字。数据集中的一些关键字段是文档标题、文件大小、关键字和节选(50字左右的关键字)。下面是原始数据集中的关键字段的示例：
我的目标是建立一个模型来标记某些发生的文档(孩子们抱怨家庭作业等等)。因此，我需要向量化关键字和摘录字段，然后压缩它们，这样我们就有了每一个唯一的文档一行。只使用关键字作为我要做的事情的例子--我应用了Tokenizer、StopWordsRem
浏览 2提问于2016-10-27得票数 7
回答已采纳
1回答
我有一个维度的数据(4200万行，6列)，我需要做一个交叉表来获取数据集中的每个人的特定事件的计数，这将导致一个非常大的稀疏矩阵，其大小为36,000列，大小为150万行。有什么方法可以以块的形式进行交叉表，并加入结果数据格式吗？为了明确起见，交叉表的每一行将计算数据集中每个人发生事件的次数(即每一行都是人员，每一列项是人员参与特定事件的次数)。
浏览 1提问于2020-02-25得票数 3
回答已采纳
1回答
传入数据(“Key”和“Value”是数据集中字段的实际名称)：--- ----- B 2.0A 4.0B 5.0报告中期望的产出：- - -4.0 5.0 6.0以'Key‘作为列组，'Value’作为数据，行标题是正确的，但
浏览 2提问于2014-11-05得票数 0
回答已采纳
我有一个包含多列的数据集。通过分析，我发现只有一个值的列很少。这些列的所有行中都有0。它是否保存任何信息，还是应该从数据集中删除此类列？很少有列会像它一样包含100 k行type1和3-4行type2。我是否也应该删除这列，还是让它们保持不变？
注意:目标列与描述的列不同。
浏览 0提问于2017-12-17得票数 3
1回答
我的数据看起来是这样的：
testId wordNumber_no difficulty containsPhoto complicatedWords Verdict
浏览 1提问于2021-12-05得票数 0
spl)
基本上，我对语料库进行预处理，构建文档项矩阵，删除稀疏项，然后分割成一个训练和测试集。虽然这在tm包中非常容易，但我不喜欢的一点是，它隐式地使用培训和测试集来确定包含哪些术语(也称为removeSparseTerms，然后再分解成培训和测试集)。虽然这对于随机训练/测试集分裂可能并不是太坏，因为我们期望训练集和测试集之间的单词频率是相似的，但它可能会对非随机分割(例如，使用顺序观察时)的分裂产生实质性的影响。我想知道是否有人有一种相对简单的方法(使用tm)来更早地移动
浏览 2提问于2013-12-22得票数 2
回答已采纳
1回答
稀疏约简
、、、、
我必须分解一个大型稀疏矩阵(代表用户的650万行*表示项的6.5亿列)，以查找用户和项潜在向量。我选择了星火框架中的als算法。为了提高质量，我必须把矩阵的稀疏性减少到98%。我可以通过删除行或列来实现这一点，但我必须找到最大限度地增加行数(用户)的最佳解决方案。主要问题是我必须找到一些用户和项集的子集，而删除一些行可以删除一些列，反之亦然，第二个问题是求
浏览 2提问于2018-06-15得票数 0
回答已采纳
我正在尝试使用MDX脚本从BSO多维数据集中导出相当大的数据，以便导入到另一个BSO多维数据集中。我已经尝试过计算脚本和报表脚本，但这需要花费很多时间。我的多维数据集只有4个维度-帐户(密集)、年份(稀疏)、方案(稀疏)和国家(稀疏)。SELECT {[Years].[Jan],[Scenario].我希望数据在一分钟内导出。谢谢!
浏览 4提问于2017-11-11得票数 0
2回答
假设您有一个列数较多的数据框架(1000个因素，每个因素有15个级别)。您希望创建一个虚拟变量数据集，但是由于它太稀疏，所以您希望保持稀疏矩阵格式的虚拟数据集。我的数据集相当大，而且步子越小，对我就越好。我知道如何完成上述步骤；但我无法直接从初始数据集中创建稀疏矩阵，即有一个步骤而不是两个步骤。有什么想法吗？编辑:一些评论要求进一步详细说明，因此如下所示：
其中X是我的原始数据集，
浏览 5提问于2014-04-12得票数 7
回答已采纳
2回答
我有一个大的枕木稀疏矩阵，占我系统总内存的90%以上。我想把它保存到磁盘上，因为构建矩阵需要几个小时.cpickle.dump(M, f) # leads to a major memory explosion, presumably there is lots of copying
虽然HDF5不喜欢数据类型
浏览 1提问于2014-07-25得票数 2
回答已采纳
1回答
.pag文件和.ind文件有什么区别？但是还有其他的区别吗?关于尺寸？如果我删除了页面文件，那么它对索引文件有影响吗？或者，如果我从页面文件中删除了一些数据块，那么对索引文件有什么影响呢？
浏览 3提问于2012-08-27得票数 1
我已经创建了ZFS数据集，并在其中安装了虚拟服务器。突然，我的ZFS卷空闲空间消失了，但并不是每个数据集中都使用所有空间。我想介绍瘦配置(使用ZFS稀疏卷)。是否有可能将数据集转换为稀疏卷而不删除它们？谢谢。
浏览 0提问于2016-05-06得票数 7
回答已采纳
1回答
我正在查看文档"“中的armadillo中稀疏矩阵的批量插入。表单1:值(sp_mat，colptr，n_rows，n_cols)在我看来，rowind不是指针，而colptr是指针。这有什么原因吗？
浏览 3提问于2014-10-24得票数 1
1回答
因此，我有六个大型数据集，每个数据集都有大约250个预测器(每个都是相同的初始预测器)。运行一种算法，如果预测器不符合某些标准，则从数据集中删除该预测器。例如，有一个名为X.50T的预测器我想知道我的所有六个数据
浏览 0提问于2018-10-12得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
