如何标记python中选定列中的离群值/anomaly？
在Python中标记选定列中的离群值（anomaly），可以通过以下步骤实现：
- 导入必要的库：首先，需要导入pandas库用于数据处理和分析。
import pandas as pd- 加载数据：将数据加载到一个pandas的DataFrame中。
data = pd.read_csv('data.csv') # 假设数据存储在data.csv文件中- 确定离群值的阈值：根据具体情况，可以选择使用统计学方法（如3倍标准差）或领域知识来确定离群值的阈值。
threshold = 3 # 以3倍标准差作为离群值的阈值- 标记离群值：使用条件判断语句和pandas的DataFrame功能，将超过阈值的值标记为离群值。
anomaly_mask = (data['column_name'] - data['column_name'].mean()) > threshold * data['column_name'].std()
data['anomaly'] = anomaly_mask.astype(int)上述代码中，'column_name'应替换为要标记离群值的列名。
- 结果展示：可以通过打印DataFrame或将结果保存到新的CSV文件中来查看标记后的数据。
print(data)
data.to_csv('marked_data.csv', index=False) # 将标记后的数据保存到marked_data.csv文件中这样，选定列中的离群值将被标记为1，其他值将被标记为0。你可以根据具体需求进一步处理这些离群值，比如删除、替换或进行其他分析。
腾讯云相关产品和产品介绍链接地址：
- 数据库：云数据库 TencentDB（https://cloud.tencent.com/product/cdb）
- 服务器运维：云服务器 CVM（https://cloud.tencent.com/product/cvm）
- 云原生：腾讯云原生应用引擎 TKE（https://cloud.tencent.com/product/tke）
- 网络通信：私有网络 VPC（https://cloud.tencent.com/product/vpc）
- 网络安全：云安全中心 CSC（https://cloud.tencent.com/product/csc）
- 人工智能：腾讯云人工智能 AI（https://cloud.tencent.com/product/ai）
- 物联网：物联网开发平台 IoT Explorer（https://cloud.tencent.com/product/iothub）
- 移动开发：移动应用托管 MCM（https://cloud.tencent.com/product/mcm）
- 存储：对象存储 COS（https://cloud.tencent.com/product/cos）
- 区块链：腾讯云区块链服务 TBaaS（https://cloud.tencent.com/product/tbaas）
- 元宇宙：腾讯云元宇宙服务（https://cloud.tencent.com/product/mu）
请注意，以上链接仅为示例，具体产品选择应根据实际需求进行评估和决策。
相关·内容
在下面的dataset df中。我想标记除A、B、C和L之外的所有列中的异常。 任何小于1,500或大于400000的值都被视为异常。if v else '' for v in indexes]
df.style.apply(lambda s: flag_outliers(s, exclude_cols), axis=1) 代码的结果所需的输出应如下所示： ? 感谢您的
浏览 17提问于2021-04-05得票数 0
回答已采纳
4回答
我正在尝试编写一个函数，它将修复数据集中的异常值。也就是说，如果离群点高于上界，则值将被上界取代，如果值小于下界，则将替换为下界。下面列出了我创建的函数。= df_std * 3 upper_limit = df_mean + anomaly_cut_offnp.where(df > upper_limit, upper_limit, df)
df=np.w
浏览 5提问于2020-06-23得票数 0
回答已采纳
我使用的是PostgreSQL，有以下两个表： id bigint not null unique, primary key(id) id bigint(id)翻译异常(translation_anomaly)是anomaly
浏览 3提问于2019-11-26得票数 2
回答已采纳
我有两列group，ref。在ref专栏中，我感兴趣的是根据数据集中每五个元素的preceding和following元素来识别anomalies或odd_one_out --例如，[Y,Y,N,Y,Y] N是异常，[N,N,N,对于每一组五个值，都有一个odd_one_out或anomaly元素1, Y3
浏览 1提问于2020-09-28得票数 1
回答已采纳
1回答
在ggplot2 (使用ggpubr)的boxplot命令中，有没有一种简单的方法来标记boxplot异常值？我正在寻找频率箱图上每个变量的异常值。以前的答案没有解决这种类型的箱形图。我的x变量是mhi，y变量是postest。我的盒子图代码是： ...boxplot(covid$mhi, sub = pa
浏览 21提问于2021-02-01得票数 0
4回答
我找到了一个从列中检测异常值的函数，但我不知道如何删除异常值下面是用来检测异常值的函数，但我需要一个函数中的帮助来删除异常值
import numpy as np
浏览 0提问于2019-07-23得票数 5
1回答
python新手。我来自nodejs背景。 Nodejs有npm包(离群值/离群值等)，我只需要调用detectOutlier函数，它就会返回值。(https://www.npmjs.com/package/outlier) 我正在尝试用python做同样的事情，因为node对于计算量很大的处理不是一个好的选择。在python中，我
浏览 12提问于2020-04-29得票数 0
1回答
我如何找到我的文章的趋势时间？
、、、、
我们的文章是以时间为基础的，这意味着我的文章更多的是在一个特定的时间里搜索.如图中所示，这篇文章更多地是在特定时期内搜索的。📷📷我需要知道这段时间为明年做好准备。
浏览 0提问于2019-02-08得票数 3
1回答
使SQL-查询更高效。
、、、、
因此，我对SQL很陌生，并试图构建一个查询，用于从云上的DB2仓库中的不同表中连接和检索数据。我想让它更高效，这样我就可以更快地检索数据。一个包含变量名称、日期、类型和值。在这个表中，我有两种不同的类型(异常指数/得分)。首先，我希望加入具有相同日期时间和TAG_NAME但具有不同类型的两行的值。然后，我想用第二个表中一行的值加入上面的内容，其中的DAT
浏览 1提问于2018-01-23得票数 0
1回答
如果我想根据另一列的值条件更改一列的值，是否可以对数据进行列表理解。我希望的代码应该是这样的：
return ['lower_level' for x in usage_time_df['anomaly'] if [y < lower_outlier for y in
浏览 6提问于2019-10-06得票数 0
回答已采纳
有谁知道Python / PySpark中的简单算法来检测K-means聚类中的离群值并创建这些离群值的列表或数据帧吗？我不知道如何获得质心。
浏览 57提问于2021-01-08得票数 1
回答已采纳
3回答
我有三个表- 1.异常2.标记3.Anomaly_Markup public AnomalyMap() Table("anomaly");
.Table("anomaly</e
浏览 4提问于2012-10-01得票数 2
回答已采纳
2回答
如何为当前列中的每个值派生变量
、、、、
嗨，下面是我的数据集。 我需要根据每个形状来计算体积。如何在不使用太多for循环的情况下应用公式。我有超过8-9个这样的唯一值，我需要在新的派生变量中计算其体积 下面是数据帧 输入： Type Len wid hig dia cylinder 120 42 173 代码： def label_race (row):
if
浏览 16提问于2019-05-17得票数 1
回答已采纳
3回答
为了知道我有多少个离群值，所以我用海运盒图对我的所有列都进行了装箱，令人惊讶的是，有太多的离群值，所以我可以删除异常值，因为我担心有太多的异常值会对我的模型产生不良影响，特别是影响平均值，中位数，方差，这将进一步影响我的模型的性能。然后我找到了这个QnA关于太多的离群点，答案是，这个案例并不是一个真正的离群点。
浏览 0提问于2020-03-11得票数 0
回答已采纳
1回答
我的代码应该返回大约65列数据(来自调查的问题)的统计分析。下面给出了示例数据以及当前代码。目前，输出只显示没有包含字符串的列(对于其他列，它们返回为NaN，甚至不在Excel中显示)。我认为这是由于一些数据点被标记为“无数据”，而另一些数据点被标记为“离群点”。
我想学习一种方法来忽略离群点/无数据点，并显示其他数据的统计数据，如平均值或中值。我还想学
浏览 0提问于2019-01-23得票数 1
嗨，我使用yadcf与数据，这允许我做多选择列过滤，这让我高兴。现在，我希望将选定的值显示在筛选器中，作为标记显示到单独的搜索栏中。如何在多选择列筛选器中获取选定的值？谢谢。
浏览 2提问于2017-04-27得票数 1
回答已采纳
我一直在尝试学习如何编写代码来创建宏，以帮助我根据其他单元格中的许多条件来获得输出单元格。所以我想要的是，根据不同的优先级，根据同一行中的其他参数来填充M列中的每个单元格：
1-如果J列中的单元格不是"PASS“，那么我希望M列中的相应单元格显示J中除了"PASS”之外<e
浏览 0提问于2020-05-22得票数 0
我正在尝试从Python中的dataframe中的特定列中删除异常值。Timestamp'df_final[(np.abs(stats.zscore(df_final['rating'])) < 3).all(axis=1)]Ax
浏览 0提问于2019-11-14得票数 0
我在Python notebook中有一个包含三列的数据集。似乎IQR的1.5倍中有太多的异常值。我在想如何计算所有列的离群值？
如果有太多的异常值，我可能会考虑删除被视为多个特征的异常值的点。
浏览 1提问于2016-08-22得票数 6
回答已采纳
1回答
我正试图在我的熊猫DataFrame专栏中限制离群点。这是我的原始数据列的框图。因此，使用来自这个堆叠溢出的答案的代码，我尝试了封顶异常值。我现在的问题是，我不能一直封顶离群的人，是的！我现在该干啥？
浏览 0提问于2019-08-04得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
