pandas数据帧之间的计算返回NaN
pandas是一个开源的数据分析和数据处理工具，提供了丰富的数据结构和函数，方便用户进行数据操作和分析。其中，数据帧（DataFrame）是pandas中最常用的数据结构之一，类似于Excel中的二维表格，可以存储和处理具有不同数据类型的数据。
当进行数据帧之间的计算时，如果两个数据帧的索引或列不完全匹配，计算结果将返回NaN（Not a Number）。NaN表示缺失值或无效值，用于表示在计算过程中无法得到有效结果的情况。
例如，假设有两个数据帧df1和df2，它们的索引或列不完全匹配，进行计算时会返回NaN。具体而言，有以下几种情况：
- 索引不匹配：如果df1和df2的索引不完全一致，计算时会返回NaN。可以使用pandas的对齐操作（align）或重新索引（reindex）来解决索引不匹配的问题。
- 列不匹配：如果df1和df2的列不完全一致，计算时会返回NaN。可以使用pandas的join或merge操作来合并两个数据帧，使它们的列完全匹配。
- 缺失值：如果df1和df2中存在缺失值，进行计算时会返回NaN。可以使用pandas的fillna函数或dropna函数来处理缺失值，使得计算结果更准确。
总结起来，当进行pandas数据帧之间的计算时，如果索引或列不完全匹配，或存在缺失值，计算结果会返回NaN。为了解决这些问题，可以使用pandas提供的对齐操作、重新索引、合并操作、填充缺失值或删除缺失值等方法来处理数据帧，以获得更准确的计算结果。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据库（https://cloud.tencent.com/product/cdb）：提供高性能、可扩展的云数据库服务，适用于各种应用场景。
- 腾讯云云服务器（https://cloud.tencent.com/product/cvm）：提供弹性、安全、稳定的云服务器，支持多种操作系统和应用环境。
- 腾讯云对象存储（https://cloud.tencent.com/product/cos）：提供安全、可靠、低成本的云存储服务，适用于大规模的数据存储和备份。
- 腾讯云人工智能（https://cloud.tencent.com/product/ai）：提供丰富的人工智能服务，包括图像识别、语音识别、自然语言处理等，可应用于各种领域。
- 腾讯云物联网（https://cloud.tencent.com/product/iotexplorer）：提供全面的物联网解决方案，包括设备接入、数据管理、应用开发等，支持海量设备的连接和管理。
- 腾讯云移动开发（https://cloud.tencent.com/product/mobdev）：提供全面的移动应用开发服务，包括移动后端、推送服务、移动测试等，支持多平台的应用开发。
- 腾讯云区块链（https://cloud.tencent.com/product/baas）：提供安全、高效的区块链服务，支持企业级的区块链应用开发和部署。
- 腾讯云元宇宙（https://cloud.tencent.com/product/mu）：提供虚拟现实和增强现实的云服务，支持开发和部署各种虚拟现实应用。
相关·内容
我有两个pandas数据帧，每个都有相同的索引和列。我想创建第三个pandas数据帧，其中包含其他两个细胞的乘积。 这是我目前的解决方案，但它太慢了。 import pandas as pd
new_df = pd.DataFrame(columns=df1.columns, index=df1.index, data=[])
for col, values in new_df.iteritems():
for idx, value in values.iteritems():
foo = df1.loc[idx][col]
bar = df2.l
浏览 10提问于2019-05-11得票数 1
回答已采纳
假设我有两个数据帧：
import pandas
....
....
test1 = pandas.DataFrame([1,2,3,4,5])
....
....
test2 = pandas.DataFrame([4,2,1,3,7])
....
我尝试过test1.append(test2)，但它相当于R的rbind。
如何将这两列合并为数据帧的两列，类似于R中的cbind函数？
浏览 4提问于2015-02-19得票数 45
回答已采纳
1回答
我有一个数据帧，看起来像这样：
index X Y
0 5.0 3.0
1 6.0 NaN
2 7.0 NaN
3 8.0 NaN
4 9.0 3.5
5 10.0 3.25
我想做的是取每一行之间的差异，忽略NaN值，但用非NaN行之间的NaN填充存在差异的地方。输出df_diff应如下所示：
index X Y
0 NaN NaN
1 1.0 -0.5
2 1.0 -0.5
3 1.0 -0.5
4 1.0 -0.5
5
浏览 15提问于2021-03-01得票数 0
1回答
我目前有一个很大的2-d pandas时间序列值(1年或更长时间)的数据帧，我想将其重新映射到3-d xarray。pandas数据帧具有对应于另一个引用数据帧中的(经度，经度)坐标的column_id。
在xarray中有什么固有的功能可以实现这一点吗？
浏览 25提问于2019-07-31得票数 0
1回答
如何使用dask找到数据帧的长度？
例如，在熊猫中，我可以这样做：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.normal(0, 1, (5, 2)), columns=["A", "B"])
print df['A'].count()
print df
输出：
5
A B
0 1.538531 0.424717
1 -0.929843 1.323648
2 -1.283680 0.056199
3 -0.641
浏览 0提问于2018-05-28得票数 6
我有一个n x m的pandas数据帧和一个长度为g的pandas序列。我如何根据索引将数据帧按序列划分？
到目前为止，我已经将序列与数据帧合并，并简单地将一个单元格除以另一个单元格。
谢谢
浏览 17提问于2016-07-29得票数 0
回答已采纳
9回答
我正在研究一个机器学习问题，在这个问题中，特征中有许多缺失值。有100个特征，我想删除那些有太多缺失值的特征(可能是缺失值超过80%的特征)。我如何在Python中做到这一点？
我的数据是Pandas数据帧。
浏览 1提问于2017-08-05得票数 9
我有一个大型的pandas数据帧，它在整个数据帧中包含不同数量的列。下面是一个示例：Current dataframe example 我想根据数据帧的列数将其拆分成多个数据帧。 示例输出图像如下：Output image 谢谢。
浏览 12提问于2019-10-13得票数 1
2回答
Python新手。
在R中，可以使用dim(...)获得矩阵的维数。Python Pandas中对应的数据帧函数是什么？
浏览 6提问于2012-12-18得票数 94
回答已采纳
有一个80行6列的pandas数据帧。某些列中包含NaN值。比方说，如果给定列中连续的nan值的数量超过10，那么我们必须对这些nan块的值做一些处理。因此，我的问题是如何提取与这些大块nans的开始和结束相对应的行索引？
浏览 12提问于2021-10-07得票数 1
回答已采纳
我正在尝试计算pandas系列中的NaN元素(数据类型类‘numpy.float64’)，以了解有多少个数据类型是类'pandas.core.series.Series‘
这是为了计数pandas系列中的空值
import pandas as pd
oc=pd.read_csv(csv_file)
oc.count("NaN")
我期望oc,count("NaN")的输出是7，但它显示的是'Level NaN must be same as name (None)'
浏览 4提问于2019-05-23得票数 2
我想使用dataframe.pivot()从pandas数据帧创建一个数据透视表，不仅包括数据帧列，还包括数据帧索引中的数据。找不到任何说明如何做到这一点的文档。有什么建议吗？
浏览 0提问于2014-02-08得票数 5
4回答
当试图从数据帧中的金融数据计算指数移动平均(EMA)时，Pandas的ewm方法似乎是不正确的。
下面的链接很好地解释了基础知识：
转到Pandas解释时，采取的方法如下(调整参数为False)：
weighted_average[0] = arg[0];
weighted_average[i] = (1-alpha) * weighted_average[i-1] + alpha * arg[i]
在我看来这是不正确的。arg应该是(例如)收盘值，然而，arg是第一个平均值(即所选周期长度的第一系列数据的简单平均值)，而不是第一个收盘值。因此，arg和argi永远不能来自相同的数
浏览 16提问于2016-06-20得票数 15
1回答
在Python中，在给定的时间范围内，从list/numpy/vector/pandas列中获取最大值的最佳方法是什么？
我有一个pandas数据帧，对于其中一列，我想用过去3个值的最大值(或给定的过去时间范围)放入一个新列。
例如，我想仅从时间戳和value1列开始构建此数据帧：
timestamp value1 max3 min3
10:00:00 8 NA NA
10:00:05 2 NA NA
10:00:10 5 NA NA
10:00:15 7 8 2
10
浏览 0提问于2014-01-11得票数 1
2回答
我有以下pandas数据帧：
df = pd.DataFrame([["hitesh","","HAIK"],["hitesh","red","ll"],["haikent","red","tt"],["","","HAIK"]])
我正在尝试将数据帧的空字符串替换为每列的相应模式。
我在努力
df= df.replace("" , df.mode()[0])
但这只是用第一列模式替换了数
浏览 9提问于2017-03-10得票数 2
回答已采纳
我正在使用Python pandas to read_excel。这就是我正在阅读的专栏。
我的问题是read_excel没有将空单元格计算为单元格。当我使用df2=df1.iloc[0:30]时，我希望它包含那些空单元格，这样最后两个数据项就不会包含在我的数据框中(这是因为这些单元格在整个月中每天都被填充，所以这些空单元格将一直存在到这个月的最后一天)。如何确保pandas read_excel在其数据帧中包含这些空单元格？
浏览 1提问于2017-11-30得票数 1
1回答
“合并”具有不同列的数据框
、、、、
我需要合并/连接两个数据帧，这两个数据帧有一些共同的列名，但也有不同的列名。例如：
df1 = {A: hello, B: bye, C:good morning, F: nice}
df2 = {A: hola, D: buenos dias, C: adiós, G: bad}
因此，我想要的结果数据帧如下：
A |B |C |D |F |G
----------------------------------------------------
hello |bye |good morning |None
浏览 1提问于2019-03-15得票数 0
在this问题和数据帧之后，我正在尝试将数据帧转换为字典。在pandas中，我使用的是： dictionary = df_2.unstack().to_dict(orient='index') 但是，我需要将此代码转换为pyspark。有人能帮我吗？正如我从前面的问题中了解到的，比如this，我确实需要使用pandas，但是数据帧太大了，我无法做到这一点。我该如何解决这个问题呢？ 编辑： 我现在尝试了以下方法： dictionary_list = map(lambda row: row.asDict(), df_2.collect())
dictionary = {age[
浏览 20提问于2021-01-14得票数 0
回答已采纳
在PySpark中是否有与pandas info()方法等效的方法？
我正在尝试获取有关PySpark中数据帧的基本统计信息，例如:列数和行数、空值数、数据帧大小
pandas中的Info()方法提供了所有这些统计信息。
浏览 4提问于2017-06-08得票数 6
我有一个pandas数据帧，我想在数据帧的末尾添加一行以显示每列的平均值；但是，由于Col2、Col3和Col4中的平均值，NaN函数无法返回列的正确平均值。如何解决此问题？ Col1 Col2 Col3 Col4
1 A 11 10 NaN
2 B 14 NaN 15
3 C 45 16 0
4 D NaN 16 NaN
5 E 12 23 5 附注:这是取平均值
浏览 23提问于2020-01-12得票数 1
回答已采纳
我正在使用：
df.to_csv('file.csv', header=False, mode='a')
将多个pandas数据帧逐个写入CSV文件。
我确保这些数据帧具有相同的列名集。
但是，似乎列顺序将以随机顺序写入，因此我有一个chaos CSV文件。
如何确保新的数据帧将按照以前数据的列顺序写入？
非常感谢
浏览 21提问于2018-08-02得票数 0
考虑一个具有'a - b‘值的pandas数据帧。我想检查数据帧中所有值的任何位置是否出现'-‘，而不是循环遍历各个列。显然，像下面这样的检查是不会起作用的： df.values中的if '-‘ 关于如何检查这个问题有什么建议吗？谢谢。
浏览 56提问于2017-07-06得票数 1
回答已采纳
我有如下所示的数据
我希望它采用以下格式
使用Python 3 pandas数据帧。
浏览 0提问于2018-11-08得票数 0
我有一个数据框，看起来像这样-
>>> df
a d s
0 1.0 3.0 2.0
1 2.0 NaN 4.0
2 3.0 6.0 NaN
3 NaN NaN 3.0
4 5.0 8.0 NaN
5 6.0 NaN NaN
我必须在列'd‘的value of 'a’> 2中将NaN替换为mean。因此，我写下-
>>> df['d'][df['a']>2]
2 6.0
4 8.0
5
浏览 8提问于2017-12-30得票数 1
回答已采纳
在python中，如何引用前一行并对其进行计算？具体地说，我在pandas中使用dataframes -我有一个充满股票价格信息的数据框架，看起来像这样：
Date Close Adj Close
251 2011-01-03 147.48 143.25
250 2011-01-04 147.64 143.41
249 2011-01-05 147.05 142.83
248 2011-01-06 148.66 144.40
247 2011-01-07 147.93 143.69
下面是我是如何创建这个数
浏览 2提问于2012-10-29得票数 67
回答已采纳
2回答
我试图在下面的数据帧中使用values列的元素作为字典中的键。
In [1]: import numpy as np
...: import pandas as pd
...: rng = pd.date_range('2021-06-01', periods=4)
...: values = [1, -1, 0, np.nan]
...: df = pd.DataFrame(values, index=rng, columns=['values'])
In [2]: df
Out[2]:
values
2021
浏览 1提问于2021-06-07得票数 2
回答已采纳
我正在尝试将Pandas数据帧序列转换为float。我先执行locale.setlocale(locale.LC_NUMERIC, '')，然后执行df.idh.apply(locale.atof)，但它给出了上面提到的错误：AttributeError: 'float' object has no attribute 'replace'。我假设在某个时刻，它会得到类似NaN的东西，可能是其他字符串，但它不能识别它。我如何告诉apply跳过这些？
浏览 1提问于2015-08-27得票数 6
回答已采纳
我有一个生成器，它返回未知数量的数据行，我希望将这些数据转换为索引的pandas数据帧。据我所知，最快的方法是将CSV写入磁盘，然后通过'read_csv‘解析回来。我知道创建一个空的dataframe，然后不断地追加新的行是没有效率的。我不能创建预置大小的dataframe，因为我不知道将返回多少行。有没有一种方法可以将迭代器输出转换为pandas数据帧而不写入磁盘？
浏览 1提问于2017-03-24得票数 12
1回答
提高非常大的数据帧上的迭代性能
、、、、
我有一个pandas数据帧，它由300万行和50列组成，所有列都包含整数(正数或负数)。我想创建一个名为'feature‘的新列，它从现有的50列中提取最大的负数。
例如，如果对于给定行，50列包含以下值
-25,-24,-23,...,-1,1,...,23,24,25
“feature”列应返回-1。
因为我的数据帧太大了，所以我尝试的解决方案花费的时间太长了。例如，我尝试过使用列表理解，但是因为我求助于iterrows()，所以它太慢了(itertuples()的性能并没有明显的提高)：
import numpy as np
import pandas as pd
from tq
浏览 3提问于2019-07-17得票数 1
回答已采纳
1回答
我有一个很奇怪的(至少对我来说是这样，因为我还是个初学者)。不管怎样，我有一个由excel文件制成的pandas数据框架。
df = pd.read_excel(excel_file_path_from_db, engine='openpyxl', sheet_name='Sheet1', skiprows=1)
直截了当地说，它是有效的。然后我做了一些数字运算，在excel文件中添加了几列，并在本例中使用openpyxl对其进行了更新。在数字处理之后，我使用openpyxl保存了excel文件。
wb.save(excel_file_path_from_db)
浏览 0提问于2021-04-24得票数 0
我是Python和pandas的新手。我创建了一个数据帧，并希望计算两列之间的百分比变化。我知道pandas中的pct_change函数，但它在行之间工作。 import pandas as pd
import matplotlib.pyplot as plt
UKnewcars = pd.DataFrame({
'Model': ["Diesel", "MHEV Diesel", "Petrol", "MHEV petrol","BEV", "PHEV", "
浏览 81提问于2021-10-11得票数 0
我想在Pandas中将一个数据帧除以另一个数据帧，以最终表示百分比变化。两个数据帧值都包含NaN和0。现在，当我将一个数据帧除以另一个数据帧时，两个数据帧的值都为零的结果是NaN。我知道为什么0/0设置为np.nan，但从百分比变化的角度来看，我需要0/0为0。 实现这一目标的最干净的方法是什么？ 重现问题： import pandas as pd
import numpy as np
data_with_zeros = pd.DataFrame({'a': [2, np.nan, 0, 3], 'b': [np.nan, 2, 0, 6]})
data_
浏览 108提问于2016-12-29得票数 3
回答已采纳
作为数据分析练习的一部分，我正在将excel表格读取到pandas数据帧中。
df = pd.ExcelFile('file.xlsx').parse(0)
nullcounts = df.isnull().sum().to_frame('null_records')
为我的dataframe中的每个序列生成一个计数为null的漂亮帧。但是如果字符串'NA‘出现在一行数据中，我不希望isnull操作返回True。
有没有一种简单的方法可以做到这一点，而不需要为特定的列/数据帧硬编码规则？
编辑:我的源数据中的NAs在读入pandas时似乎被忽略了，因为当
浏览 14提问于2017-02-02得票数 2
回答已采纳
3回答
我在pandas数据框中有一系列的城市名称。为此，我需要找出特定城市的地址，并将它们存储在同一数据帧中的单独列中。City列也包含NaN值。我正在分别获取给定位置/城市名称的地址。但它在熊猫数据帧中不起作用。 data = [['madurai',10],['NaN',12],['hosur',13]]
df = pd.DataFrame(data,columns=['Name','Age'])
from geopy.geocoders import Nominatim
geolocator = Nominati
浏览 23提问于2019-03-17得票数 0
1回答
我试图找到一些可以帮助我的东西，但我不能。如果我的问题已经得到回答，如果有人能给我链接，我将不胜感激。
我有一个具有逐行特性的pandas数据帧。例如：
Patient_ID Feature_Id Feature_Value
0 3 10 0.30
1 3 50 0.20
2 3 60 1.00
3 4 10 0.25
我需要将它们转换为按列排列的特性(本
浏览 1提问于2016-09-11得票数 1
更新:至少从pandas 0.18.1版本开始，这不再是一个问题。连接空序列不再丢弃它们，所以这个问题已经过时了。
我想使用.concat从系列列表中创建一个pandas数据帧。问题是，当其中一个序列为空时，它不会包含在结果数据帧中，但是当我随后尝试用多索引重命名它的列时，这会使数据帧成为错误的维度。更新:这里有一个例子...
import pandas as pd
sers1 = pd.Series()
sers2 = pd.Series(['a', 'b', 'c'])
df1 = pd.concat([sers1, sers2], axi
浏览 2提问于2015-05-29得票数 6
回答已采纳
我正在通过读取pandas中的csv文件来设置数据帧，列表示不同样本的一维位置参数中的点，每行表示0.01秒的时间段。我想创建一个新的数据帧来表示速度和加速度(所以基本上将操作[point(i)-point(i-1)]/0.01)应用于数据帧中的每个单元。 我在使用pandas.applymap或其他方法时遇到了问题，因为我不太知道如何在每个操作的数据帧中引用多个参数，如果这有意义的话。 import pandas as pd
import numpy as np
data = pd.read_csv("file_name")
def vel
浏览 30提问于2019-04-28得票数 0
1回答
我在pandas中创建了一个分层数据帧：
import pandas as pd
import numpy as np
col_index = pd.MultiIndex.from_product([[0,1], ['a', 'b', 'c']])
df_outer = pd.DataFrame(index=range(4), columns=col_index)
print(df_outer)
0 1
a b c a b c
0 NaN Na
浏览 1提问于2018-02-03得票数 1
回答已采纳
当我想要基于多个条件从数据帧访问一个值时，什么是一种优雅的失败方式：
#Select from DataFrame using criteria from multiple columns
newdf = df[(df['column_one']>2004) & (df['column_two']==9)]
如果不存在满足上述条件的值，那么pandas会返回一个keyerror。如何将NaN值存储在newdf中。
浏览 3提问于2016-06-21得票数 0
我有2个数据帧(现在我说的是2，但我们可以有n个数据帧)。并且数据帧的名称在列表中。我想加入所有名字出现在列表中的数据帧
import pandas as pd
data1 = [['Alex',10],['Bob',12],['Clarke',13]]
df1 = pd.DataFrame(data1,columns=['Name','Age'])
data2 = [['David',10],['Alain',12],['Rob',13]]
df2 = pd.Da
浏览 0提问于2018-10-12得票数 0
3回答
假设我有两个截然不同的pandas数据帧，它们具有完全相同的结构：
df1
+---+---------+------+------+------+
| | summary | col1 | col2 | col3 |
+---+---------+------+------+------+
| 0 | count | 10 | 10 | 10 |
+---+---------+------+------+------+
| 1 | mean | 4 | 5 | 5 |
+---+---------+------+------+------+
| 2
浏览 22提问于2019-08-12得票数 1
回答已采纳
因此，我想将比特币数据与标准普尔500指数进行比较，这是代码的样子 import pandas as pd
from pandas_datareader import data as wb
import datetime
import backtrader as bt
import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt 这是为了导入所需的库 tickers = ['^bvsp', '^gspc', 'btc-usd']
mydata = pd.DataFra
浏览 96提问于2020-07-07得票数 1
我有以下数据帧
np.random.seed(42)
dataframe = pd.DataFrame({'score': np.random.poisson(42, 100000)})
并创建了dask数据帧：
dask_df = dd.from_pandas(dataframe, npartitions=10)
并在这两个服务器上运行describe方法
dataframe.describe(percentiles=[.25, .5, .75, .85, .9]).score.to_frame().T
结果是：
count mean s
浏览 12提问于2018-12-06得票数 1
我想向给定的pandas数据帧添加一个空的布尔列。现在我已经这样做了(df是我的数据帧)：
<code>A0</code>
然后，我的专栏如下所示：
<code>A1</code>
这并不表示某些值可能丢失，并且该列实际上是空的。在pandas数据帧中获取boolean类型的空列是不可能的吗？
浏览 9提问于2019-03-28得票数 4
我正在尝试使用MysqlDB向mysql数据库中写入一个Pandas数据帧(或者可以使用numpy数组)。MysqlDB似乎不理解' nan‘，我的数据库抛出一个错误，说nan不在字段列表中。我需要找到一种方法将'nan‘转换为NoneType。
有什么想法吗？
浏览 1提问于2013-01-05得票数 206
回答已采纳
2回答
我试图将多个文本文件编译成一个数据框架。但是，当我使用Pandas Concat函数加入数据帧时，生成的数据帧的形状会添加新的列。在下面的代码示例中，数据框架3有12列，而不是8列。为什么？
**Input:**
import pandas as pd
df1 = pd.read_csv('2011-12-01-data.txt',sep = None, engine = 'python')
df2 = pd.read_csv('2011-12-02-data.txt',sep = None, engine = 'python'
浏览 1提问于2017-06-24得票数 4
回答已采纳
1回答
我想使用pandas滚动功能
在具有日期时间的pandas数据帧上聚合未来值。看起来只有在过去才能做到，这是准确的吗？
谢谢!
浏览 4提问于2018-07-24得票数 4
回答已采纳
3回答
与熊猫合并后设定指数？
、、、、
执行以下合并
import pandas as pd
s = pd.Series(range(5, 10), index=range(10, 15), name='score')
df = pd.DataFrame({'id': (11, 13), 'value': ('a', 'b')})
pd.merge(s, df, 'left', left_index=True, right_on='id')
这一数据框架的结果：
score id value
NaN
浏览 6提问于2019-12-11得票数 5
回答已采纳
我有一些pandas数据框，我想添加一列，这是一列的差异，基于第三列的值。下面是一个玩具示例：
import pandas as pd
import numpy as np
d = {'one' : pd.Series(range(4), index=['a', 'b', 'c', 'd']),
'two' : pd.Series(range(4), index=['a', 'b', 'c', 'd'
浏览 1提问于2014-08-26得票数 0
import pandas as pd
import statistics
df=print(pd.read_csv('001.csv',keep_default_na=False, na_values=[""]))
print(df)
我使用这段代码来创建一个没有NA值的数据帧。我有几个CSV文件，我想计算其中一列的平均值-硫酸盐。此列有许多'NA‘值，我正在尝试排除这些值。即使使用了上面的代码，‘NA’也不会被排除在数据框之外。请提出建议。
浏览 6提问于2015-03-17得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
