Pandas Dataframe中两个大列之间的计算

文章/答案/技术大牛

发布

1回答

python、pandas、lambda

我有一个有2列邮政编码的数据帧，我想添加另一列与它们的距离值，我能够做到这一点与相当少的行数，但我现在使用的数据帧有大约500,000行用于计算。我的代码可以工作，但在我目前的数据帧上，它已经运行了大约30分钟，仍然没有完成，所以我觉得我正在做的事情效率非常低。distance'] = zips.apply(lambda x: distance_pairing(x['zipstart']

浏览 10提问于2020-05-28得票数 1

回答已采纳

2回答

熊猫corr()与corrwith()

python、pandas

Pandas提供两个不同的相关函数的原因是什么？DataFrame.corrwith(other，axis=0，drop=False)：两个DataFrame objectsCompute的行或列之间的关联 ( DataFrame.corr(method='pearson'，min_periods=1)：计算列<e

浏览 19提问于2017-09-04得票数 17

回答已采纳

2回答

Python从特定日期中提取周数字

python、pandas

我想从熊猫数据帧中的数据中提取周数字，但从特定日期开始。20/04/2010 --> 104/05/2010 --> 3 以此类推..

浏览 17提问于2017-03-06得票数 1

回答已采纳

1回答

如何将Sklearn SVM实现应用于使用SPARK ML计算的特征( Spark ML中缺少多类SVM )

pandas、apache-spark、dataframe、scikit-learn、pyspark

我有220 GB的数据。我已经将其作为两列读取到spark dataframe中: JournalID和Text。现在，我的数据帧中缺少27行。使用NGram类，我在dataframe中添加了另外两个列Unigram和Bigram，其中包含文本列中的单字和双字。然后，我使用一元和二元语法列上的pyspark的T

浏览 1提问于2018-12-17得票数 0

2回答

TypeError: corr()缺少1个必需的位置参数：“other”

python、pandas、numpy

我是python的新手，遇到麻烦了。我应该计算皮尔逊相关系数，但我错了。我唯一能想到的就是python需要不同的语法。import pandascorr1我已经搜索了这个错误，但找不到更多的错误。我使用的是windows10和最新版本的

浏览 1提问于2017-06-06得票数 1

2回答

在5天内找到2个变量之间的相关性

python

这是我的数据集：我是数据分析新手，找出这两个事件之间的相关性(Inc_cnt)的最佳方法是什么？ inc_cnt_bfr是之前的事件，inc_cnt_aft是之后的事件。我遇到过最近的邻居(n_neighbour，和metrics=‘相关性’)，当我查看文档时，很难理解。在我的训练中，我介绍了numpy，pandas和基本的ml算法。为了实现我所学到的

浏览 4提问于2020-04-23得票数 0

1回答

DataFrames上的Apache Spark Python余弦相似度

python、apache-spark、pyspark、apache-spark-sql、cosine-similarity

对于推荐系统，我需要计算整个Spark DataFrame的所有列之间的余弦相似度。在Pandas中，我经常这样做：import pandas as pd metrics.pairwise.cosine_similarity(

浏览 3提问于2017-05-12得票数 13

1回答

如何在spark中使用pandas* split-apply-combine风格策略和scala api？*

pandas、scala、apache-spark、split-apply-combine

我有一个scala函数，它接受一个spark dataframe并返回一个单值，也就是说两个值。这个函数很复杂，使用在DataFrame类中定义的聚合，调用其他java库，并且不能用SQL表达。它需要整个数据帧的内容来进行计算，它不能一次添加一行并建立一个结果。我有一个大的dataframe，其中包含一个列，我想用它将dataframe分成小块，并对每个小块执行上述计算<

浏览 28提问于2020-04-22得票数 0

1回答

Pandas中一列与另一组之间的相关性

python、pandas

我是一个数据科学和Python的初学者，同时学习统计和租赁。我不是一个计算机科学家，很抱歉，如果这个问题可能听起来很基本。我可以计算出两列之间的相关系数。

浏览 2提问于2017-06-06得票数 0

1回答

显示向量中每个值之间的协方差的协方差矩阵

python、statistics、covariance

有没有一个python函数可以让我计算一个n*n的自动协方差矩阵，显示向量a1，a2，a3...an中每个条目组合之间的协方差？我不能让np.cov这么做。

浏览 6提问于2017-07-07得票数 0

回答已采纳

1回答

如何在python中计算大型spark数据帧的kendall's tau？

python、pandas、apache-spark、pyspark、correlation

我想为一个大的spark数据帧计算成对的kendall的tau等级相关性。它很大(比如10m行，10k列)，不能转换成pandas数据帧，然后使用pandas.DataFrame.corr进行计算。此外，每列可能具有空值，因此在计算成对的kendall's tau时，需要排除两列中任何一列</

浏览 18提问于2019-07-20得票数 2

1回答

如何计算pandas中列之间的百分比变化？

python、pandas、dataframe

我是Python和pandas的新手。我创建了一个数据帧，并希望计算两列之间的百分比变化。我知道pandas中的pct_change函数，但它在行之间工作。import pandas as pd 'Model': [

浏览 81提问于2021-10-11得票数 0

1回答

如何编写csv文件的column2第3列的if条件

python、python-2.7、csv、pandas、group-by

我有CSV文件，其中有3列。这是我必须要做的：我想写一个if条件或者类似if Divi == 'core'的任何东西，然后我需要没有冗余的标签计数(distinct)，也就是说(核心划分的标签中的两个sand1应该被视为只有一个计数还有一个if条件，比如Div === saturn or core && type == dev then same需要计算标签的个数(Distinc

浏览 2提问于2017-01-30得票数 0

2回答

将多个列乘成一列

pandas、dask

我想将大约50,000列与另一列相乘在一个大型dataframe (6_500_000 x 50_002)中。使用for循环的解决方案可以工作，但速度慢得令人痛苦。下面，我尝试了另外两个失败的应用程序。如有任何建议，敬请见谅。Pandasdf = pd.DataFrame({'a':[1,2,3], 'b':[4,5,

浏览 20提问于2020-10-01得票数 1

回答已采纳

1回答

在python中，数据框列不会转换为浮点数据类型

python、database、sqlite、dataframe、dtype

我试图在从sqlite数据库构建的pandas dataframe中获得两列之间的百分比变化，但是，当我尝试进行计算时，我不能这样做，因为列不是浮点型的。我已经尝试了大多数转换它们的方法，比如<code>D0</code>，<code>D1</code>，我也试图将它包装在<code>D2<&#x

浏览 21提问于2020-08-05得票数 0

1回答

两个系列时间戳(不包括周末和假日)之间的营业时间

python、pandas、datetime、calendar、time-series

之间的(美国)营业时间，不包括周末和假日。为此，我使用CustomBusinessDay的pandas功能如下：from、感恩节和黑色星期五的假期)，但我真正想要的是这两个时间戳之间的办公时间。所以，我有两个问题：如何正确计算两个时间戳<

浏览 1提问于2019-02-21得票数 4

回答已采纳

1回答

如何使用Python pandas处理数据角化问题中的-inf值

pandas、data-wrangling

在python中处理数据时，使用csv文件中的-inf，如何处理在计算百分比变化的列时可能出现的Pand值？假设您有一个使用pandas作为dataframe加载到python的数据。然后，创建另一个列，该列具有数据中任意两列之间的百分比值变化。您检查的一些值是-inf。如何

浏览 24提问于2020-04-18得票数 0

回答已采纳

4回答

按条件分组并创建三个新列[低、击、高]

python、pandas

我有一个大型数据集(~5个Mio行)，其中包含机器学习培训的结果。现在我想看看结果是否达到了“目标范围”。假设这个范围包含-0.25和+0.25之间的所有值。现在，我将创建这三列，点击，低，高，并计算每一行的条件应用，并将一个1放在这个项目中，其他两列将成为0。在此之后，我将对这些值进行分组，并对它们进行汇总。但我怀疑一定有一种更好、更快的方法，比如分组时直接计算。数据 import pan

浏览 4提问于2022-02-10得票数 9

回答已采纳

1回答

在pandas中如何使用.assign方法有条件地赋值计算列？

python、pandas、dataframe、python-3.7

如何使用python pandas中的.assign方法在合并后的数据帧中进行条件计算？我想比较一列两个python pandas数据帧(a和b)。我正在使用pandas 0.25.1。在将数据帧合并到一个新的数据帧中之后，我使用.assign方法创建一个新列，然后使用lambda函数计算指定列之间的绝对和相

浏览 17提问于2019-09-08得票数 0

回答已采纳

1回答

在python pandas中计算4列的rolling_std来计算一个布林带？

python、pandas

我刚刚进入Pandas，试图用一个大的数据集轻松地做我在excel中会做的事情。我有一个期货价格数据的选择，我已经输入到Pandas使用：这给了我一个DataFrame。00,1440.25,1441.75,1440.00,1441.25,7261,1781 02/01/2013,05:03:00,1441.25,1443.25,1441.00,1443.25,501

浏览 1提问于2013-11-17得票数 1

点击加载更多