NaN :去除异常值，用均值替换Pandas

文章/答案/技术大牛

发布

1回答

python、pandas、dataframe、nan、outliers

0.000000 526.140015 max 652.210022 2199.290039 2214.550049 278.029999 3543.469971 我想删除异常值，这样我就可以计算平均值并替换NaN值。NaN 它似乎没有删除最大异常值，而只是删除了一些随机行。异常值KE >1，EH >2，LA >1，PR > 300。你知道如何删除数据帧的异常值，而不必为每一列手动输入吗？我的另一个数据集有50

浏览 51提问于2021-03-25得票数 0

1回答

我怎样才能用过去和下一个邻居的平均值来代替离群值呢？

python、python-3.x、numpy、jupyter

问题是我的数据集中有很多异常值。去除异常值的问题是，我想比较三种不同的拍频的所有偏差。所以无论如何，我现在做的是，我得到了所有的偏差，成功地去除了离群点，将我的列表分割成区间，并将每个区间的所有y值与区间的标准差进行比较。我现在想要改变的是，我不想移除异常值，而是用它们以前和下一个邻国的平均值来取代它们。在下面，您可以找到包含异常值的列表的测试代码，在

浏览 0提问于2019-05-21得票数 0

1回答

必须只传递布尔值错误的数据帧吗？

python、pandas、dataframe

在此，我试图运行一些代码，例如用平均值替换异常值和创建一个散点图。但是，我不断得到我在标题中引用的错误.我不知道我在哪里出错，因为这段代码已经在其他数据帧上工作了。下面是我的数据框架的一个例子：df = pd.DataFrame({'temp': [.2, naN, .12], 'weekday&

浏览 5提问于2019-09-25得票数 0

1回答

通过计算z- scores修复pandas中的异常值

python、pandas、numpy、scipy

这是一个模拟的DataFrame import pandas as pd df = pd.DataFrame({'col1' : [1,2,5,8,4,9,3,800,600, np.nan, np.nan]}) 我想计算z-score来检测异常值，并用平均值替换行。

浏览 15提问于2021-09-16得票数 0

1回答

Python - Sklearn意味着使用另一列作为变量。

python、scikit-learn

我试图使用SimpleImputer中的mean选项替换所有'nan‘值： imputer = imputer.fit(X[:, 1:3])(基本上得到我的第一和第二列的平均值)但是，我需要考虑第0列(工业)的平均值。用industryR

浏览 4提问于2021-11-03得票数 0

3回答

如何将任何值替换为不在pandas序列中前一个值的特定范围内的NAN？

python、pandas

我有一个pandas系列，我想知道一个值是否在前一个值的某个范围内(比如上下10% )，如果不在，就用NAN替换它。我不确定该如何继续。标准的异常值去除技术主要处理总体标准差等。2018-09-06 NaN2018-09-08 NaN2018-09-1009-27 664.08020

浏览 31提问于2019-04-30得票数 2

回答已采纳

1回答

检测和替换异常值

python、machine-learning、outliers

Transforming using log or Bin> -> Test separately 我实际上打算使用median来去

浏览 24提问于2020-02-25得票数 0

2回答

如何为python中的dataframe中的特定列创建掩码？

python、pandas

我创建了一个掩码，在dataframe的特定列中用NaN值替换检测到的异常值，我编写的代码对于我创建的随机数据same非常有效，但是相同的代码对我正在处理的实际数据不起作用。下面是使用随机数据的代码：df =pd.DataFrame (np.random.randint(0,1000,size'Identified Outliers %d'% len(outliers)) mask= ((df['B'

浏览 16提问于2020-08-10得票数 1

1回答

如何根据不同的条件方法在Pandas中插值丢失的值

python、pandas

我有一个数据文件，如下所示：'Var2':[3.1, 6.2, 2.1

浏览 2提问于2021-07-16得票数 1

回答已采纳

2回答

用NaN替换Pandas数据中的异常值

pandas、dataframe、replace、nan、outliers

我想用np.nan代替离群值。我有一个包含浮点数、int和NaNs的数据格式，例如：'a': [np.nan,np.nan,2.0,-0.5,6,120], 'c': [np.nan, 2, 3, 4,2,2], 'e': [12, 4, np.<

浏览 22提问于2022-09-16得票数 1

回答已采纳

1回答

使用python和matplotlib绘制excel工作表？

python、pandas、matplotlib

它还增加了NaN的空空间。这成为一个问题，当我试图绘制它，我收到一个错误，说“空‘DataFrame:没有数字数据要绘制”。

浏览 1提问于2018-06-18得票数 1

回答已采纳

3回答

如何用NaN替换离群值，同时使用python中的pandas保持行的完整性？

python-3.x、pandas、nan、outliers

我正在处理一个非常大的文件，需要为每一列消除不同的异常值。import numpy as nppd.set_option('display.max_columns, 1000) df = pd.read_ex

浏览 3提问于2019-04-23得票数 0

1回答

去除python数据帧中的离群值

python、outliers

我想使用Python语言中的均值和标准差来去除DataFrame的异常值。但我想让它成为na，而不是简单地删除离群值。然后我想以Dataframe的形式再次保存它。这是我的问题。IndexList, ColList] temp[ColList] = np.where(temp[ColList] <

浏览 25提问于2020-12-14得票数 0

2回答

将pandas.DataFrame中的值有条件地替换为以前的值

python、pandas

我需要过滤数据集中的异常值。用列中的前一个值替换异常值在我的应用程序中是最有意义的。>>> import pandas as pd >>> df = pd.DataFrame({'A':[1,2,3,4,1000,6,7,8],'B':list('abcde

浏览 0提问于2018-10-13得票数 0

1回答

pandas DataFrame:将NaN值替换为某个组的平均值

python、pandas、missing-data

我有一个填充了实数和类别的pandas DataFrame，但其中有一些NaN值。1 model 1 0.912674 3 model 1 2.027325 6 model 3 -0.612343 8 mode

浏览 2提问于2018-11-16得票数 1

1回答

计算df的平均值，但如果值的=>1与此平均值相差>20%，则平均值设置为NaN。

python、pandas、nan、mean

我想要计算数据的a、b、c、d列的平均值，但是如果每个数据数据行中的四个值之一与这个平均值(四个值中的一个)相差20%以上，则必须将平均值设置为NaN。计算4列的平均值很容易，但我不得不定义条件‘如果平均值*0.8 <=数据行中的值之一-- <=平均值*1，2，则意味着== NaN。在本例中，ID:5enID:87中的一个或多个值不适合区间，因此平均值设置为NaN。(在计算平均值和将20

浏览 1提问于2020-05-30得票数 2

回答已采纳

1回答

函数替换Python中的异常值。

python

我需要创建一个函数，用该列的平均值+/- 3* StandardDeviation替换数据集中列中的离群值。例如，如果值大于/小于平均值+/- 3* StandardDeviation，则识别异常值。因此，如果A中的值假设285是上部的一个异常值，则需要用Mean+ 3* StandardDeviation替换。如果离群点在较低的一侧，则需要用均值- 3* StandardDeviation替换。这需要

浏览 2提问于2020-04-26得票数 0

回答已采纳

1回答

方法，在数据中存在显着的异常值时，量化范围以保持精度。

python、precision、outliers、quantization、data-transform

有一个输入范围，大多数值都在平均值的+-2 std内，而存在一些巨大的异常值。例如，1，2，3，4，5,1000将其量化为输出范围为0-255将导致精度的损失，因为巨大的异常值1000 (1，2，3，4，5都将变为0)。但是，对于那些距离平均值在几个std以内的值来说，保持精度是很重要的。丢弃异常值或用NaN替换它们是不可接受的。它们应该以某种形式保存。

浏览 6提问于2022-07-07得票数 0

回答已采纳

2回答

Pandas:用nan替换所有列中的异常值

pandas、replace、outliers

我有一个有3列的数据框，例如10000,1,2 2,5,6 4,3,4 6,155,6 1,3,4 4,3,4 我可以分别找到每列的异常值并替换为"

浏览 0提问于2017-10-05得票数 8

1回答

使用摘要信息平均数据帧

python、pandas

我希望能够得到这个数据集的平均值，其中只有在实际样本总数> n时，我才执行平均值。import pandas as pdrows = range(5) [5, 2,np.NaN], [4, 4, 3], [1,

浏览 6提问于2017-12-19得票数 0

回答已采纳

点击加载更多