Python填充缺失数据
是指使用Python编程语言中的相关函数或方法来处理数据中的缺失值。缺失值是指数据集中某些字段或单元格中的空值或NaN（Not a Number）值。
Python提供了多种方法来填充缺失数据，以下是几种常用的方法：
- 使用fillna()函数：fillna()函数可以用指定的值或方法来填充缺失数据。常用的方法包括使用均值、中位数、众数等来填充。例如，使用均值填充缺失数据的代码如下：df['column_name'].fillna(df['column_name'].mean(), inplace=True)推荐的腾讯云相关产品：腾讯云数据分析平台TDSQL，详情请参考：TDSQL产品介绍
- 使用interpolate()函数：interpolate()函数可以根据已有数据的趋势进行插值填充。它可以根据数据的线性关系、多项式关系等进行插值。例如，使用线性插值填充缺失数据的代码如下：df['column_name'].interpolate(method='linear', inplace=True)推荐的腾讯云相关产品：腾讯云数据分析平台TDSQL，详情请参考：TDSQL产品介绍
- 使用fillna()函数结合groupby()函数：当数据集中存在分组关系时，可以使用groupby()函数将数据按照某个字段进行分组，然后使用fillna()函数对每个分组进行填充。例如，使用每个分组的均值填充缺失数据的代码如下：df['column_name'] = df.groupby('group_column')['column_name'].transform(lambda x: x.fillna(x.mean()))推荐的腾讯云相关产品：腾讯云数据分析平台TDSQL，详情请参考：TDSQL产品介绍
- 使用sklearn库中的Imputer类：Imputer类是sklearn库中专门用于处理缺失数据的类。它可以根据指定的策略（如均值、中位数、众数）来填充缺失数据。例如，使用均值填充缺失数据的代码如下：from sklearn.impute import SimpleImputer imputer = SimpleImputer(strategy='mean') df['column_name'] = imputer.fit_transform(df[['column_name']])推荐的腾讯云相关产品：腾讯云机器学习平台Tencent ML-Platform，详情请参考：Tencent ML-Platform产品介绍
总结：Python提供了多种方法来填充缺失数据，可以根据具体情况选择合适的方法。腾讯云提供了多个相关产品，如数据分析平台TDSQL和机器学习平台Tencent ML-Platform，可以帮助用户进行数据处理和机器学习任务。
相关·内容
2回答
如何选择是丢弃NaN值，还是用数据集中的平均值(或中位数)填充它？还有什么其他技术可以清除数据集中的缺失值？让数据为数字。(在python中)
浏览 0提问于2018-05-29得票数 2
我正在处理一个在某些列中包含缺失值的数据集。我正在尝试使用XGBoost的Scikit-Learn包装器接口的XGBRegressor。在那里，它提供了一个名为'missing‘的参数，你可以在其中输入浮点值，否则它会将python的NaN作为默认值。因此，我需要一些帮助，比如如何使用此参数来填充数据集中列的缺失值。如果能给我提供一个简单的例子，那将是很有帮助的。
浏览 23提问于2017-02-09得票数 0
回答已采纳
我有一些netcdf文件，其中_FillValue和/或缺失的值设置为各种组合(例如，设置为浮点数、字符串或根本不设置，通常设置为-999./'-999‘)。我正在操作这些文件并再次保存它们，希望在输出文件中正确且一致地设置填充值。我的问题是：
1)使用_FillValue或者missing_value，或者两者都使用，有什么区别？
2)填充值应该是哪种类型，关于值的最佳实践是什么？-999看起来可能与实际数据混淆
3) netdcf填充值如何与我的掩码数组中的fill_value组合(似乎默认为10^20)？这似乎是纠正同一件事的两种方法。
4)在处理数据时，我也得到一个警告：
浏览 441提问于2020-02-13得票数 2
我能用这种方式理解吗？如果任何陈述是错误的或不准确的，请告诉我。
数据填充的原因:假设我有一个连续的数据(例如，每天的日志数据)，并且丢失了部分数据。为了进行一些计算(例如，平均值)，我们首先需要给缺失的部分赋值(例如，等于现有的数据)。
前向填充和后向填充是两种数据填充方法。不同的是填充方向？例如，星期二的数据(缺失)等于周一的数据(现有的)正向填充。相反的是向后填充。
浏览 0提问于2019-08-19得票数 1
回答已采纳
1回答
我目前正在做一个项目，我必须补上一些缺失的值。我使用Python，我看到有一种算法可以进行缺失数据的填补。这种算法被称为Nipals。因此，我决定寻找一种方法来使用它，我看到statsmodels.multivariate.pca.PCA可以帮助我。
我有一个名为A的numpy数组，它有n行p列。A有一些缺少的值，这些值是NaN值。我想使用PCA来填充A。但是，没有例子可以帮助我做到这一点。
有人能帮我用Nipals算法填充A吗？
谢谢。对不起，我是一个法语初学者，使用英文文档对我来说并不容易。
浏览 14提问于2018-02-13得票数 4
1回答
我试图在Deedle C#数据框架中转发fill值，就像在python中使用pandas.ffill()函数一样。熊猫的前填充，允许在行索引和列索引中向前填充。我希望在Deedle中也这样做，在同一行中取最近的无缺失值，但从不同的列取，所以跨行，这在python和大熊猫中非常简单。我对C#和Deedle库都很陌生，我在文档中所能找到的就是如何在不跨数据框架的系列中转发填充值。任何帮助都是非常感谢的，我对此很陌生，而且我似乎在任何地方都找不到这个库的任何实质性示例。
这是我的数据框架的一个例子，我正试图跨行转发填充值。因此，col3中缺失值的填充值将成为col2等行中的最后一个值。
------
浏览 0提问于2019-08-18得票数 2
回答已采纳
2回答
填充缺失的值并进行规范化
、、、、
我有两列神经网络的训练数据，它们都是缺失的值。(还有许多其他列不缺少值。)
例如
Height | Weight
180 | 70
175 | N/A
N/A | N/A
我希望填充缺失的值，并将列规范化。
数据是高度和权重，所以我认为一个很好的填充值应该是0或-1。这是基于Python中的深度学习一书：
通常，对于神经网络，输入缺失值为0是安全的，条件是0不是有意义的值。
我假设0在值为150-200的数据集中没有意义。
我还被建议通过减去每一列的平均值并除以std来规范数据。
这两种方法都很好--我知道怎么做和为什么要这样做。我不明白的是如何把它们结合起来。我也可
浏览 0提问于2018-07-26得票数 8
1回答
从docx表中提取URL
、、、
我现在差不多被困住了。
我用python3编写了一个解析器，使用python-docx库提取现有.docx中的所有表，并将其存储在python3中。
到目前一切尚好。它应该起作用的。
现在我有一个问题，在这些表中有超链接，这是我绝对需要的！由于结构(下面是xml)，docx库没有捕捉到这些信息。未提供url或显示文本。我发现很多人对此也有类似的担忧，但大多数人似乎并没有“只是这样”的两难处境。
我考虑解压缩.docx并扫描_ref文档以找到相应的“rid”，并使用在_ref xml中找到的链接填充实际数据。
不管是哪种方式，这样做似乎让人感到非常疲倦，所以我想知道是否有更多的琵琶方法可以做到，
浏览 4提问于2018-11-12得票数 0
我有一个数据集，其中缺少值，但是它不是XGBClassifier的问题。它可以动态地为您填充值。在XGBClassifier填充功能时，我想保存它们。我的目标是使用XGBoost来估算丢失的数据，然后我将尝试另一种不允许NaN值的算法。这有可能吗？
浏览 8提问于2020-05-02得票数 0
回答已采纳
2回答
在Python中有这样一个数据文件：
x1 x2 x3
a 1 1000
a 1 2390
a 1 ?
b 2 120
b 2 2000
因此，我的目标是填充列x3中所有缺失的值。但是，如果我使用标准方法(pd.fillna(df.mean()，就不会得到理想的结果。我想要的不是x3列的简单平均值()，而是对所有x1=a和x2=1值的x1=a()，如何用Python实现呢？
浏览 7提问于2017-01-13得票数 2
回答已采纳
1回答
处理数据集中的缺失值
、、、
我们应该在多大程度上填充数据集中某个特征的缺失值，以便它不会变得多余？
我有一个最多有42000个观察值的数据集。有三个特征丢失了大约20000,35000和7000值。我应该仍然通过填充这些缺失值来使用它们，还是应该丢弃这三个功能？
在给定特征缺失值的数量的情况下，我们如何确定保留或转储特征的阈值？
浏览 1提问于2015-10-03得票数 0
我有一个python数据框架，其中包含健康数据，参与者在时间点1、2和3出现。我有一个名为“BPMEDS”的列，其中有缺失的数据，其中很多是缺失的最后一个时间点(无论是1、2还是3)。BP药品的最后一个填充行位于每个空行的上方。因此，“randid”16799在第3期没有“bpmeds”，而在第2期有“bpmeds”，我只想复制上一个可用期间的值。每个参与者都有一个ID，因此该ID最多可以在数据集中显示3次。
RANDID BPMEDS PERIOD
26 16799 0.0 1
27 16799 0.0 2
28 16799
浏览 6提问于2022-09-01得票数 0
1回答
你好，各位数据科学家。
我是这个领域的新手，我面临一个问题，因为我需要一个建议。所以我有数据，其中一个列是产品ID，另一个列表示它来自哪个城市。
那么，我现在的问题是，当城市价值为空时，在这种情况下怎么办？我认为这是绝对不可能的，猜测的起源和填充，或填充中位数。
那你的建议是什么？
非常感谢
浏览 0提问于2022-04-18得票数 0
回答已采纳
2回答
编辑:我现在正在寻找一种干净的方法来将我的数据集在Python上丢失的值计算出来。
a b c
0 1 2 Falcon
1 np.nan 3 Falcon
2 np.nan np.nan Falcon
3 np.nan 4 Bird
4 np.nan 5 Bird
5 5 np.nan Bird
6 6 7 Bird
我将需要根据他们的个人组使用以下条件进行估算
浏览 6提问于2021-02-18得票数 1
回答已采纳
1回答
我想在这里执行空值分析。在这里，我提到了数据集的前两行 Shop_name Bikes_avaiable Shop_location Average_price_of_bikes Rating_of_shop
NYC Velo Ninja,hbx Salida 5685$ 4.2
Bike Gallery dtr,mtg,Harley Davidson Por
浏览 16提问于2020-06-28得票数 0
大多数教科书说，要填充缺失的值，使用的是均值/中值(数字)和最频繁的(分类)，但我使用的是一个数据集，它有太多的缺失值，而且我不能删除这些列，因为它们很重要。
train.isnull().sum()
TransactionID 0
isFraud 0
TransactionDT 0
TransactionAmt 0
ProductCD 0
...
id_36 449555
id_37 44955
浏览 0提问于2020-03-17得票数 0
回答已采纳
4回答
我有一个Pandas Dataframe，它有一些缺失值。我想用一些不会影响统计数据的东西来填充缺失的值，这是我将对数据执行的操作。 举个例子，如果在Excel中，你尝试对一个包含5个单元格和一个空单元格的单元格求平均值，那么平均值将是5。我希望在Python中也是如此。 我尝试用NaN填充，但是如果我对某一列求和，例如，结果是NaN。我也尝试用None填充，但得到了一个错误，因为我对不同的数据类型求和。 有人能帮忙吗？提前谢谢你。
浏览 25提问于2019-02-11得票数 0
回答已采纳
4回答
数据中缺失的值
、、、、
我曾经经历过，大多数数据集都包含缺失的值，这使我们的任务变得有些困难。
请让我知道如何有效地填充那些缺失的值？是否有任何特定的技术来处理丢失的值？
浏览 0提问于2017-08-31得票数 5
回答已采纳
1回答
我在一个csv文件中有一个数据文件，我想对它执行不同的无监督机器学习算法。
文件本身有一些未填充的单元格--它们只是空的：
📷
如上图所示，一些单元格是空的。所以问题如下--这些空单元会影响我想要使用的异常点检测过程吗？
还是应该使用0's填充这些空单元格的代码？
有人告诉我，填充空单元格必须完成，这样我们才不会有数据稀疏性，即使我的csv文件有数千行长。
任何有关这方面的建议都是非常受欢迎的。
浏览 0提问于2020-02-06得票数 1
3回答
我有以下数据结构。在每组中，一些观察结果缺少value。我知道每个组只有一个非缺失值(在本例中，组1的值为10，组2的值为11 )。缺失观察值的位置在组内是随机的(即不能用前一个/后一个值填充缺失值)。
如何通过分组用一个非缺失值来填充缺失值？
group value
1 .
1 10
1 .
2 11
2 .
2 11
我目前的解决方案是循环，但我怀疑有一些聪明的bysort可以使用。
levelsof group, local(lm_group)
foreach group in `lm_group' {
浏览 3提问于2015-12-03得票数 4
2回答
我有一个完整的臭氧数据集，其中包含一些缺失值。我想用SPSS来做单个推算来推算我的数据。
在我开始填充我的数据之前，我想随机模拟丢失了5%，10%，15%，25%和40%的数据的数据模式，以便评估填充方法的准确性。
有没有人可以教我如何用SPSS做随机缺失的数据模式？
此外，谁能告诉我如何获得性能指标，如:平均绝对误差，决定系数和均方根误差，以检查估计缺失值的最佳方法。
浏览 1提问于2013-03-21得票数 0
我有一个简单的Vue循环，它迭代填充表行的对象数组。
<tr v-for="user in users">
<td>{user.name}</td>
<td>{user.id}</td>
</tr>
但是，我也希望在<tr>上填充一个数据属性，但当我这样做时
<tr v-for="user in users" data-id="user.id">
It输出
<tr data-id="user.id">
如何用一个da
浏览 1提问于2018-10-01得票数 0
回答已采纳
1回答
我从雅虎财务公司(YahooFinancials)那里得到了亚马逊股票(Amazon)的数据，但有些日子还没有数据。
我想知道是否有一种方法，使用google collab，然后“创建”那些缺失的日子，并用相邻日子的平均值来填充它们。
我想使用数据最近的日子，在缺失天数之前和之后，为缺失的日子创建数据。
我看过很多松懈的答案，但我找不到具体的答案。看起来最接近的命令是：ws = Amazon.worksheet('Amazon') idx = pd.date_range(start = '05-15-1997', end = '07-05-20
浏览 0提问于2019-07-11得票数 0
回答已采纳
我一直在想，如果A1和A2中的数据是空的，那么A3是空的，那么是否有一种方法可以通过大量的行和列来自动化isblank，然后用eg填充A3。提前感谢
我试着使用if(A1<>，"T"，"F")，但这将是痛苦的应用在一个大的选择，期待它自动查找丢失的数据在例如。A3，B3，C3.并检查在A1、A2中同一行中是否有数据，并用特定的数据填充空
浏览 4提问于2022-04-02得票数 -1
1回答
我有如下数据：
| ID | Name | Inv | Date | Value | PO | Type | Rate | Tax | Integ |
|----------|-----------|-----|------------|-------|-----|-------|-------|-------|-------|
| DEADBEEF | CHEMICALS | 321 | 19-11-2017 | 14288 | UK | State | 0.00% | 3000 | 0 |
| |
浏览 0提问于2018-11-25得票数 2
回答已采纳
我正在将一个SAS脚本转换为Python，其中的SAS脚本与一个Oracle数据库进行接口，而Python将与一个PostgreSQL数据库进行接口。在SAS代码中，我发现了以下语句：
proc sql noprint;
create table table_name as
select distinct wtn
from another_table
where account = .
;
什么是"where account = .“在Oracle中是什么意思？或者，这不是Oracle SQL的问题，而是SAS的问题？或者它在所有形式的SQL中都可用？
此外，如果它是
浏览 0提问于2015-06-27得票数 3
回答已采纳
3回答
python的NA相当于R的NA是什么？
更具体地说:R有NaN、NA、NULL、Inf和-Inf。NA通常用于缺少数据的情况。python的等价物是什么？
numpy和pandas等库是如何处理缺失值的？
scikit-learn是如何处理缺失值的？
Python2.7和python3有区别吗？
浏览 2提问于2015-02-22得票数 30
回答已采纳
1回答
我正在使用Python学习机器学习，我明白我不能通过模型运行分类数据，而且必须首先获得虚拟数据。我的一些分类数据有空(只有两个特性中的很小一部分)。当我转换为虚拟，然后看看我是否有缺失的值，它总是没有显示。我应该事先推断一下吗？还是我把所有的分类数据都算出来了？例如，如果类别是男/女，我不想用most_frequent替换空。我明白，如果功能是收入，这会有什么意义，我会把缺失的值归算在内。收入是收入，而男性不是女性。
那么，对分类数据进行估算有意义吗？我离得太远了吗？很抱歉，这是更实用的理论，而不是实际的Python编程，但不知道在哪里张贴这类问题。
浏览 4提问于2017-09-27得票数 1
回答已采纳
我有一个170列2000行的数据集。许多观察结果都是完全重复或相似的。我的数据格式如下： A B C D
Entry 1 Florida . 54
Entry 1 . . 54
Entry 1 Florida . 54
Entry 1 Florida New .
Entry 1 Florida New 54 正如您将注意到的，列A始终是填充的。我想对这些文件进行重复数据删除，这样我就只返回 A B
浏览 28提问于2019-02-23得票数 0
1回答
有没有适用于的软件包？或者任何我可以用来编写我自己的函数的引用？由于在某些数据列中丢失数据的百分比非常高(大约50-70%)，因此我认为多次填充是一个很好的选择。
浏览 3提问于2013-12-06得票数 0
1回答
我有一个时间序列数据有一些缺失的日期。例如，在'2017-08-06‘下面的数据集中缺少。
📷
若要在先知模型中输入此数据，是否必须创建包含所有缺失日期的数据框架？我知道先知模型不需要在任何特定的时间内填充丢失的数据，因为它是一个基于曲线拟合的模型。但我不确定是否应该将所有日期都包括在每日时间序列预测中。非常感谢你回答我的问题。
浏览 0提问于2022-10-06得票数 4
回答已采纳
2回答
我第一次尝试使用python进行连续数据帧的案例研究，这是2006-2016年期间的属性时间序列数据
但我在A、B、C、D列中缺少2015-16年的值，在E和F列中缺少2006-07。我正在尝试计算值并填充数据。
我已经尝试了鼠标和插值，但不确定它是否正确。在python中应用哪种方法以及如何应用它？我已经浏览了以下链接：
我应该使用预测方法而不是估算来填充数据吗？
请帮帮忙。
浏览 1提问于2020-01-31得票数 0
1回答
我正在尝试填充所有缺少的值，直到数据帧的末尾，但无法完成。在下面的示例中，我取最后三个值的平均值。我的代码只填充到2017-01-10，而我想填充到2017-01-14。对于1/14，我希望使用11、12和13中的值。请帮助。
<code>A0</code>
结果：
<code>A1</code>
所需输出：
<code>B2</code>
浏览 8提问于2020-11-14得票数 2
1回答
数据集的填充值为1e30。在使用NetCDF文件时，我应该使用代码na.rm=TRUE还是na.rm=FALSE u2 <- list.files("/filepath/", pattern = "*.nc", full.names = TRUE)
r <- mean(u2, na.rm=TRUE) 我使用na.rm=TRUE和-7.781048e+16, 3.923543e+15 (min, max)获取values : -7.53555e+18, 1.263985e+18 (min, max)，同时使用r <- me
浏览 24提问于2020-01-12得票数 1
3回答
我的数据如下：
📷
birth_date缺少634,990个值
gender缺少328,849个值
由于我有900 k项，这两项都是相当大的数量，所以我不能丢弃空行。对于birth_date，有人建议使用链式方程(小鼠)的多变量计算。我不知道我应该为gender使用什么预测模型。在未缺少的数据中，男性比女性多5倍。
谁能告诉我这里最好的做法是什么？填充gender缺失值的最佳方法是什么？
我使用这些数据来预测骑自行车的时间和最终目的地(我知道这些数据显示在上表中)。
浏览 0提问于2019-05-07得票数 5
回答已采纳
我在一个包含大约7500个数据点的数据集上执行多重回归时遇到了问题，这些数据点在某些列和行中缺少数据(NaN)。每行中至少有一个NaN值。某些行仅包含NaN值。
我使用OLS统计模型进行回归分析。我尽量不使用Scikit Learn来执行OLS回归，因为(我可能在这一点上是错的)我必须在我的数据集中计算缺失的数据，这将在一定程度上扭曲数据集。
我的数据集如下所示：
这就是我所做的(目标变量是KP6，预测变量是其余变量)：
est2 = ols(formula = KPI.KPI6.name + ' ~ ' + ' + '.join(KPI.drop('K
浏览 7提问于2017-08-07得票数 6
1回答
我有以下csv文件(片段) GENDER FULL_NAME FIRST MIDDLE LAST
M Sam Co Sam Co
F Jen Hill
M Frank Hill Billy Frank Hill Billy
M Phil Tori Vega Phil Tori Vega
M Bob Smith-Oreiley Bob
浏览 26提问于2021-04-15得票数 0
回答已采纳
1回答
我合并了两个数据帧，它们有一些公共的列，但是有一些不同的列。我想将奇异值分解(SVD)应用于组合数据帧.但是，填充NaN值会影响结果，在我的情况下，即使用零填充数据也是错误的，因为有些列的值为零。下面是一个例子。有什么办法解决这个问题吗？
>>> df1 = pd.DataFrame(np.random.rand(6, 4), columns=['A', 'B', 'C', 'D'])
>>> df1
A B C D
0 0.
浏览 6提问于2016-02-23得票数 0
2回答
我是一个数据科学新手，我想使用Python/ R创建一个相关矩阵(类似于http://www.marketcalls.in/python/quick-start-guide-compute-correlation-matrix-using-nsepy-pandas-python.html)，并构建一个机器学习模型。然而，我有一些问题，并希望得到一些指导。
问题1:虽然数据文件很大，有超过35万个条目，但一些列遗漏了许多值(即60%/ 70%的值丢失)。我想知道我是否应该放弃那些列/删除那些行/任何其他伟大的建议？什么是好的阈值，是否可以继续使用20%？30%？40%值的列。
非常感谢。非常感谢
浏览 0提问于2017-07-27得票数 0
1回答
填充大量的时间序列数据
、、、、
在时间序列数据中填充缺失值的最佳方法是什么。在不同的工作时间里，数据变化很大。数据大量丢失。
我已经尝试了回溯，前向填充和平均技术来填充数据。我也尝试了插值(线性，最近和多项式)与熊猫包。但是所取得的结果并不是很有用。
第一张图显示了4月6日至9日前后丢失的数据。第二个图是在填充缺失值后用线性插值法绘制的。
填写这种数据的最佳方法是什么？我担心线性插值最终会污染数据。
我读过一些关于卡尔曼滤波的文章。不知道该怎么用。
浏览 0提问于2019-08-08得票数 0
回答已采纳
1回答
我有这样的数据：
id category year freq
101 1 2020 1
101 1 2021 1
202 2 2020 2
202 2 2021 6
203 3 2021 2
我需要根据id、类别和年份的值来转换数据，并用一年的频率来填充年份的值。期望的输出是：
id category 2020 2021
101 1 1 1
202 2 2 6
203 3
浏览 2提问于2022-03-02得票数 1
回答已采纳
1回答
输入数据：
df=pd.DataFrame({'A':['NBN 3','test text1','test text2','NBN 3.1 new text','test
1','test 2']},columns=['A','B'])
print(df)
A B
0 NBN 3
1 test text1
2 test text2
3 NBN 3.1
浏览 0提问于2019-08-28得票数 3
回答已采纳
我有一个超过9000个数据点的数据框，有3列有近1000个(每列)缺失值。我不是在寻找最常用的方法(value=1000)，我找到了缺失的value=1000(每一列)，我尝试在那一列中根据它们的proportion.Suppose来分配其他行的值，其中一列的"a“和"b”的比例是50:50，还有4个缺失值，我会根据2a和2b的比例来填充那些缺失值。
浏览 0提问于2019-08-05得票数 0
1回答
我有以下数据框架：
library(tidyverse)
dat <- tribble(~id, ~pos, ~val,
"foo", 1, 10,
"foo", 2, 5,
"foo", 3, 1,
"bar", 3, 13)
每个id的位置(pos)从1到3。我想要做的是在不完全pos的地方填充id，然后用0填充val。预期的结果是：
id pos val
foo 1 10
foo 2
浏览 3提问于2022-06-16得票数 0
回答已采纳
使用Python与SPARQLWrapper，JSON，urlib2和cgi。将带有一些空值的有效SPARQL查询传递给python时遇到了问题，因此我用文字填充了空格，并将尝试在输出中进行过滤。我有这个结果部分的例子：
for result in results["results"]["bindings"]:
project = result["project"]["value"].encode('utf-8')
filename = result["filenam
浏览 0提问于2011-09-19得票数 2
1回答
带有缺失值的Python等级聚类
、、、、
我是Python的新手。我想对包含一些缺失值的N×P数据集执行分层聚类。我计划使用scipy.cluster.hierarchy.linkage函数，它采用压缩形式的距离矩阵。Python有没有一种方法来计算包含缺失值的数据的距离矩阵？(在R中，dist函数会自动处理缺失值...但是scipy.spatial.distance.pdist似乎不能处理缺失值！)
浏览 1提问于2015-07-15得票数 3
1回答
我正试图根据特定的条件在我的数据框架中填充一个新列。From列已经是timedelta。
for index in df:
if From >= "07:00:00" & From <"15:00:00"
df.shift="A"
我有语法错误。
我的dataframe看起来如下(从注释中推断)：
From,shift
00:00:00,None
00:30:00,None
01:00:00,None
01:30:00,None
02:00:00,None
[...]
浏览 3提问于2022-04-15得票数 0
我每5分钟就有点散开，当值为0时，点就被省略了。我想用空值填充省略的数据。
我知道用InfluxQL我能做到：
group by time(5m) fill(0)
但是我使用的是InfluxDB 2。
from(bucket:"%v")
|> range(start: %d)
|> filter(fn: (r) => r._measurement == "volume" and r.id == "%v")
|> window(every: 5m, peri
浏览 0提问于2021-07-04得票数 2
回答已采纳
1回答
与python不同，在python中，缺失的值由XGBoost算法在内部处理，而在SPARK中构建XGBoost模型时，缺失的值被隐式转换为0.0(浮点数？！)。这样可以吗？有可能是00的实际值。我们如何确保这不会干扰模型的预测能力？
浏览 28提问于2019-10-15得票数 1
2回答
我研究了特征工程中Kaggle的fill null方法。一些玩家用另一个对象值填充NA。
例如，在性别列中有‘男性’、‘女性’和NA值。该方法是用另一个对象值填充NA，比如“中间”。在此之后，它处理没有任何null的性别属性，pandas也不会找到null。
我想知道这种方法对机器学习模型的性能有很好的影响，还是对特征工程有很好的影响？除此之外，在数据集中没有知识发现的情况下，有没有其他好的方法来填充NA？
浏览 0提问于2016-12-05得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
