如何将空的稀疏序列添加到Pandas数据帧？

文章/答案/技术大牛

发布

1回答

python、pandas

我想在我的数据帧中添加一个空的稀疏Pandas序列。我尝试了以下方法，但得到的序列既不稀疏，也不是我想要的数据类型：df['newcolumn'] = pd.Series(dtype='bool_').to_sparse(fill_val

浏览 9提问于2018-01-10得票数 0

1回答

float16 SparseSeries可以在pandas dtype中存储值吗？

python、pandas、sparse-matrix、type-conversion

我之所以想在稀疏pandas容器中使用较小的数据类型，是为了减少内存使用。DataFrame创建Out[]: 285864 通过使用更合适的<

浏览 2提问于2016-04-10得票数 1

1回答

我已经创建了一个输出变量'a = pd.Series()'，然后使用一个for循环运行多个模拟，该循环使用以下代码将临时存储在'x‘中的模拟结果附加到连续列中的'a’，每个列都重命名为与模拟编号一致，从第0个位置开始： a = pandas.concat([a, x.rename(sim_count)], axis=1) 由于某种原因，结果数据帧在我的第一列模拟结果的左侧包含了一列"NaN“值，我无法删除它，如下所示(示

浏览 33提问于2019-04-02得票数 0

回答已采纳

1回答

如何在不更改格式的情况下从稀疏数据帧中删除行

python-3.x、pandas、sparse-dataframe

我正在尝试删除我的数据帧中的一些空行。下面的代码显示数据类型确实是稀疏的。(转置之后的行)时，数据类型正在更改。2CM7CAL7aJ5WkPU0oGbA96 objectLength: 15679, dtype: object 虽然代码确实删除了空的用户为行，但我更喜欢保持数据帧的<

浏览 12提问于2020-07-04得票数 0

回答已采纳

1回答

从稀疏数据集中删除列和行

python、pandas

我有一个包含许多空值的稀疏Pandas数据帧，我希望对其进行过滤，以便在最终数据集中只保留具有超过10个浮点型条目的行和列。col for col, val = df.count(axis=1, numeric_only='float') if val < 10], axis=1, inplace=True) 谁能告诉我在我的数据帧中删除稀疏列的最好方法是

浏览 16提问于2020-06-29得票数 3

1回答

从稀疏数据帧填充连续的熊猫数据帧

python、python-2.7、pandas

我有一个字典名称date_dict，以datetime日期为关键字，值对应于观察值的整数计数。我将其转换为稀疏序列/数据帧，并希望将其加入或转换为具有连续日期的序列/数据帧。讨厌的列表理解是我的技巧，目的是绕过这样一个事实，即pandas显然不会自动将datetime date对象转换为适当的DateTime索引。索引创建一个空</em

浏览 1提问于2012-11-14得票数 17

回答已采纳

1回答

使用.concat创建pandas数据帧时包含空序列

python、pandas、concatenation、multi-index

更新:至少从pandas 0.18.1版本开始，这不再是一个问题。连接空序列不再丢弃它们，所以这个问题已经过时了。import <e

浏览 2提问于2015-05-29得票数 6

回答已采纳

2回答

将Pandas* SparseDataframe转换为Scipy sparse csc_matrix*

python、pandas、numpy、scipy

我想把熊猫的SparseDataFrame转换成scipy.sparse.csc_matrix。但我不想先把它转换回稠密矩阵。基本上，我需要的是进一步从df获得一个scipy.sparse.csc_matrix。有办法做到这一点吗？

浏览 0提问于2016-12-15得票数 3

3回答

如何在Python中创建大数据框架

python、dataframe、tfidf、sparse

我有一个稀疏矩阵，X，由TfidfVectorizer创建，其大小是(500000, 200000)。我想把X转换成一个数据帧，但是我总是会收到一个内存错误。有人能告诉我什么是简单的解决办法吗？我是否可以在没有内存错误的情况下从X创建一个稀疏的数据？我在Google上运行我的代码，我认为它为我提供了不到100 GB的内存。

浏览 0提问于2021-04-10得票数 1

5回答

将numpy数组作为列添加到Pandas数据帧中

python、numpy、pandas

我有一个形状(X，Y)的Pandas数据帧对象，看起来如下：[4, 5, 6],以及形状(X，Z)的numpy稀疏矩阵(CSC)，其形状如下所示[0, 0, 1],如何在新的命名列中将矩阵中的内容添加到数据帧中，以便数据框架将以如下方式结束： [[1, 2, 3, [0, 1, 0]

浏览 6提问于2013-09-05得票数 108

回答已采纳

2回答

从pandas数据帧中删除NaT值

python、pandas

我有一个数据帧，如下所示comp_name date Appdynamics 2012我想去掉均值( NaT )值，只获得均值(Timedelta64)不是NaT的那些行。

浏览 7提问于2014-07-03得票数 15

回答已采纳

0回答

如何在Pandas中创建稀疏布尔掩码？

pandas、numpy、sparse-matrix

我有以下代码用于df的掩码过滤： dfm = df[y].str.contains(s)df不是稀疏的，但过滤结果掩码是稀疏的。当具有大型数据帧( 50mio行*100列)时，以全布尔值存储掩码会消耗大量内存。因此，由于掩码结果非常稀疏(0.1%为真)，所以想知道是否有一种方

浏览 6提问于2017-01-11得票数 2

1回答

Pyspark 'for‘循环没有使用.filter()正确过滤pyspark-sql数据帧。

python、apache-spark、for-loop、pyspark、apache-spark-sql

我正在尝试创建一个for循环，首先:过滤一个pyspark sql数据帧，然后将过滤后的数据帧转换为pandas，对其应用一个函数，并将结果添加到一个名为results的列表中。我的列表包含一个字符串序列(这将是dataframe中的某种id )；我希望for循环在每次迭代中从列表中获取一个字符串，并过滤dataframe中id为该字符串的所有行。aux = df.filter(&

浏览 21提问于2020-12-16得票数 1

回答已采纳

1回答

Python Pandas:在每个元素中使用pd.Series填充数据帧

python、pandas、dataframe

sktime库需要一个非常“特殊”的data format。对于n个时间序列，每个序列的T值需要存储在长度为T的pandas序列的pandas Dataframe中，如下所示： DataFrame： index | Data 0 | pd.Seriesn-1 | pd.Series 我试图通过读取另一个数据帧来填充循环中n=2和T=3的空<em

浏览 14提问于2020-06-17得票数 1

回答已采纳

1回答

在pandas中，如何将同一数据帧中的两个序列相乘或相除？

python-3.x

在pandas中，如何将同一数据帧中的两个序列相乘或相除？我很难找到例子。

浏览 5提问于2016-07-27得票数 0

1回答

如何在Python中将.astype()方法应用于数据帧？

python、pandas、dataframe

我想使用.astype方法将数据帧(pandas)中的多个列转换为"category“类型。下面是我的代码： df['Field_1'].astype('category').cat.codes 然而，它仍然有效 categories = df.select_types('objects')categories['Field_1'].cat.codes 不会的。通常，问题是如何将方

浏览 9提问于2020-07-07得票数 1

回答已采纳

2回答

如何在Python中高效地保存/加载一个稀疏列表的字典？

python、sparse-matrix、pickle

我有一个有大约一百万个键的字典，每个值都是一个10000维的稀疏列表，例如， dic = {'a': [0] * 10000, 'b': [0] * 1234 + [1, 2] + [0] * 8764

浏览 16提问于2019-11-26得票数 0

1回答

如何将返回pandas数据帧的函数应用于一系列输入，以便返回单个数据帧？

python、pandas、stock、alpha-vantage

我在Python语言中使用Pandas，它返回一个alpha_vantage数据框表。我已经编写了一个函数，如下所示，它接受一个股票名称，重置数据帧的索引并将其重命名。如何将此函数应用于几个输入，以便为它们返回单独的数据帧？目前，我必须手动完成此操作，并为每个输入单独运行该函数。如果我用股票列表创建一个pandas序列，并将函数应用于该序列，是否有效？'compact

浏览 18提问于2021-02-07得票数 0

回答已采纳

3回答

使用python应用函数向dataframe添加列？

python、pandas

假设我有以下数据帧： fix_id lg home_team away_team 9886 30 ValenciaPalmas9884 30 Girona Atletico Madrid 然后，我对dataframe的所有行运行一个应用函数apply函数的输出是以下pandas序列： 9887

浏览 21提问于2020-06-11得票数 1

回答已采纳

1回答

Pandas:如何减去稀疏数据帧的平均值？

python、pandas、dataframe、sparse-matrix

在pandas 0.25.3中，我不能减去稀疏数据帧的均值列。我试过了： df_norm= df.sub(df.mean(axis=1), axis=0) 但我得到了： AttributeError: module 'pandas.

浏览 14提问于2020-01-26得票数 0

回答已采纳

点击加载更多