如何用其他数据帧中的值填充缺失的值

在数据处理中，有时候会遇到缺失值的情况，即某些数据帧中的某些值为空或未定义。为了填充这些缺失的值，可以采取以下几种方法：

删除缺失值：如果缺失值的比例较小，可以选择直接删除包含缺失值的行或列。但是这种方法可能会导致数据量的减少，影响模型的准确性。
均值填充：对于数值型的特征，可以使用均值填充缺失值。计算该特征的均值，然后用均值来替代缺失值。这种方法简单快捷，但可能会引入一定的偏差。
中位数填充：与均值填充类似，对于数值型的特征，可以使用中位数填充缺失值。计算该特征的中位数，然后用中位数来替代缺失值。中位数对异常值不敏感，适用于数据分布不均匀的情况。
众数填充：对于离散型的特征，可以使用众数填充缺失值。计算该特征的众数，然后用众数来替代缺失值。众数是离散型数据中出现频率最高的值，适用于填充离散型特征的缺失值。
插值填充：对于时间序列数据或连续型数据，可以使用插值方法填充缺失值。常见的插值方法有线性插值、多项式插值、样条插值等。插值方法可以根据数据的趋势来填充缺失值，更加准确。
使用机器学习模型填充：对于复杂的数据集，可以使用机器学习模型来预测缺失值。可以将含有缺失值的特征作为目标变量，其他特征作为输入变量，训练一个模型来预测缺失值。常用的模型有线性回归、决策树、随机森林等。

以上是常见的填充缺失值的方法，具体选择哪种方法取决于数据的特点和需求。在腾讯云的产品中，可以使用腾讯云的数据处理服务来处理缺失值，例如腾讯云数据湖分析（Data Lake Analytics）和腾讯云数据仓库（Data Warehouse）等。这些产品提供了强大的数据处理和分析能力，可以帮助用户高效地处理缺失值和其他数据处理任务。

参考链接：

腾讯云数据湖分析：https://cloud.tencent.com/product/dla
腾讯云数据仓库：https://cloud.tencent.com/product/dw

数据科学中的连续数据或分类数据

machine-learning、logistic-regression、data-science、categorical-data、continuous

我正在构建一个自动清理过程，从数据集中清除空值。我发现很少有像模式、中位数、平均值这样的函数可以用来填充给定数据中的NaN值。但我应该选哪一个呢？如果数据是绝对的，它必须是模式或中位数，而对于连续的，它必须是平均或中位数。因此，为了定义数据是绝对的还是连续的，我决定建立一个机器学习分类模型。我做了几个特征比如， 1)数据的标准差 2)数据中唯一值的数目 3)数据行总数 4)唯一行数之比 5)数据的最小值 6)数据的最大值 7)中位数和75百分位数之间的数据数 8)中位数和25百分位数之间的数据数 9)第75百分位数与上部晶须之间的数据 10)第25百分位数和较低晶须之间的数据数 11)上部晶

浏览 0提问于2018-01-26得票数 4

2回答

数据仓库能包括一个数据湖吗？

data-modeling、data-warehouse、data-lake

我想更详细地了解数据仓库和数据湖。在我看来，这个话题有不同的信息。Inmon将数据仓库定义为一种面向主题、综合、时变和非易失性的数据收集，以支持管理层的决策过程。现在我明白了，这只是一种架构形式，并不意味着任何技术。这意味着底层数据可以是任何也可以是S3对象存储的结构。此外，还提出了一个具有数据集成过程的数据仓库。当谈到数据湖时，我发现了以下定义可伸缩的存储存储库，保存大量原生格式的原始数据(“原样”)，直到需要时再加上可以在不损害数据结构的情况下接收数据的处理系统(引擎)。取自。现在，数据仓库能成为一个更严格的数据湖吗？有一种观点认为，数据仓库必须使用ETL，但

浏览 0提问于2018-12-11得票数 1

2回答

用概率分布填充缺值

pyspark、missing-data、data-imputation

我想在我的数据中填充丢失的值。 In [1]: df = spark.createDataFrame([[1],[1],[2],[3],[3],[None],[3],[None],[3],[2],[None],[1],[4]], ['data']) In [2]: df.show() +----+ |data| +----+ | 1| | 1| | 2| | 3| | 3| |null| | 3| |null| | 3| | 2| |null| | 1| | 4| +----+ 我知道我可以

浏览 0提问于2017-10-08得票数 1

回答已采纳

2回答

在python中处理数据集中的缺失值

python、pandas、data-cleaning

如何选择是丢弃NaN值，还是用数据集中的平均值(或中位数)填充它？还有什么其他技术可以清除数据集中的缺失值？让数据为数字。(在python中)

浏览 0提问于2018-05-29得票数 2

1回答

处理缺失值以优化多项式特征

feature-engineering、missing-data、data-imputation

我在玩一些数据来练习我的Python和机器学习技能，并想从两个特性中创建多项式特性，我认为这两个特性是相关的，对预测的输出有很大影响。不幸的是，我的数据缺少值(np.NaN)，sklearn的PolynomialFeatures()无法处理这些值。什么是最好的方法来推断这些价值？我一直试图用0、1、平均值和中位数来替换它们，对于我的数据集来说，使用中位数似乎是最好的解决方案。但是，这能被概括吗?它背后的直觉是什么？我还在想，在这种情况下，填充方法(如ffill、bfill或甚至KNN建模)是否有用。非常感谢!

浏览 0提问于2018-10-21得票数 3

2回答

如果中位数= 0，我能用中位数计算吗？

python、numpy、data-imputation

我想用中位数来计算一个数值特征，但是这个特征的中位数是0，平均值= 106。我该继续指责还是还有什么我能做的？ PS:我不想创建一个新的二进制变量来捕捉数据的丢失。我只想用中庸之道来计算。编辑1:我手头有一个回归任务，预测房价。该变量携带有关砖石贴面面积的信息，以平方英尺为单位。这些统计数据是在将数据分解成列车和测试后得到的。有6个nan值。以下是一些相关的统计数据：数1162.000000 平均106.538726 性病185.924370 最小0.000000 25% 0.000000 50% 0.000000 75% 164.000000 最大1600.000000 📷 编辑2:我之

浏览 0提问于2021-11-10得票数 0

回答已采纳

3回答

部分未知向量的最近邻

algorithm、machine-learning、similarity、data-science、nearest-neighbor

假设我们有人员列表，并且希望找到像person X这样的人。特征向量有3项[weight, height, age]，在我们的列表中有3人。注意，，我们不知道人的身高C，。 A: [70kg, 170cm, 60y] B: [60kg, 169cm, 50y] C: [60kg, ?, 50y] 找到最接近A的人的最好方法是什么？我猜让我们计算高度的平均值，用它代替未知的值。因此，假设我们计算出170cm是身高的平均值，并将person C重新定义为[60kg, ~170cm, 50y]。现在我们可以找到离A最近的人了，那就是A, C, B。问题现在的问题是，我们把C和猜

浏览 4提问于2017-09-23得票数 1

2回答

填充缺失的值并进行规范化

keras、pandas、normalization、missing-data、numpy

我有两列神经网络的训练数据，它们都是缺失的值。(还有许多其他列不缺少值。) 例如 Height | Weight 180 | 70 175 | N/A N/A | N/A 我希望填充缺失的值，并将列规范化。数据是高度和权重，所以我认为一个很好的填充值应该是0或-1。这是基于Python中的深度学习一书：通常，对于神经网络，输入缺失值为0是安全的，条件是0不是有意义的值。我假设0在值为150-200的数据集中没有意义。我还被建议通过减去每一列的平均值并除以std来规范数据。这两种方法都很好--我知道怎么做和为什么要这样做。我不明白的是如何把它们结合起来。我也可

浏览 0提问于2018-07-26得票数 8

2回答

如何测量延迟分布

performance、statistics、monitoring、latency

我正在尝试分析系统中的延迟分布。按以下方式收集延迟:测量每分钟的最大观察延迟，如果此延迟是今天看到的最大延迟，则记录此值。在一天结束的时候，我会得到这样的东西： [12, 15, 19, ..., 57, 120] 这是一天内API调用的时间，以毫秒为单位。我需要从这些数据中构建一些有用的度量标准，但我不知道如何构建！显然，如果我从这个数据集中计算平均值或中位数，这是没有意义的。它不会代表真正的中位数或平均值，因为如果最大延迟发生在一天的第一分钟-它将是中位数和平均值。我不能依赖最大值，因为这可能是由某些罕见事件(如网络延迟)引起的异常值。这个异常值不能代表代码质量，也不能帮助捕获真正的错误。

浏览 3提问于2015-01-27得票数 1

3回答

Azure数据湖分析与Azure SQL数据仓库

azure、azure-sql-database、azure-data-lake

我正在使用ADF连接到源并将数据放入Azure data Lake存储中。在将数据放入data Lake Store之后，我想做一些转换，聚合，并在SSRS报告中使用这些数据，也用于创建多维数据集。谁能向我推荐哪个是最佳选择(Azure Data Lake Analytics或Azure SQL DW)？我希望在这里做出决定，在数据湖之后选择哪一个。

浏览 0提问于2018-04-10得票数 6

1回答

如何在部署中获取测试数据后进行特征工程？

feature-engineering、transformation

我对特征工程这个话题有点困惑。我试图制作一个网络应用程序，在其中人们可以上传测试数据作为csv。现在我对如何在部署应用程序之后进行功能工程感到困惑，特别是如何处理异常值和丢失的值？假设我想用Q3+(1.5*IQR)值更改测试数据的所有异常值。我的困惑是，应该使用训练数据集的计算Q3+(1.5*IQR)值来更改所有测试数据的异常值，还是应该单独计算测试数据的Q3+(1.5*IQR)值，并更改所有异常值。对于缺失的值也是一样的困惑。我是否应该用训练数据集的平均值/中位数/模式或测试数据的均值/中位数/模式来估算缺失的值。我知道，所有类型的变压器，我们的适应和转换的培训数据，必须使用只转换测试

浏览 0提问于2021-08-25得票数 0

2回答

如何处理GradientBoostingClassifier中大量缺失的值

python、machine-learning、scikit-learn、classification

所有的特性都是浮点数据类型，但是也有一些NaN占优势的特性。我试图通过GradientBoostingClassifier来训练模型，如下所示。 train_x, test_x, train_y, test_y = train_test_split(features[feature_headers], features[target_header], test_size=0.33, random_state=int(time.time())) clf = GradientBoostingClassifier(random_state=int(time.time()), learning_rat

浏览 0提问于2017-11-25得票数 4

回答已采纳

3回答

需要帮助为具有二进制数据的分类问题选择模型

classification

📷 我有一套临床数据。其目标是开发一种基于二进制数据的预测种族的模型，不管是否存在基因。我很难找到一个没有连续数据就能工作的分类模型。一种可能有效的模式是k模式。还有什么其他的型号我应该考虑吗？

浏览 0提问于2019-03-01得票数 0

1回答

空细胞对无监督机器学习的影响

machine-learning、unsupervised-learning、anomaly-detection

我在一个csv文件中有一个数据文件，我想对它执行不同的无监督机器学习算法。文件本身有一些未填充的单元格--它们只是空的： 📷 如上图所示，一些单元格是空的。所以问题如下--这些空单元会影响我想要使用的异常点检测过程吗？还是应该使用0's填充这些空单元格的代码？有人告诉我，填充空单元格必须完成，这样我们才不会有数据稀疏性，即使我的csv文件有数千行长。任何有关这方面的建议都是非常受欢迎的。

浏览 0提问于2020-02-06得票数 1

2回答

Azure用于流分析的良好架构？

azure、azure-stream-analytics、azure-iot-hub

我有每秒从传感器到Azure IoT集线器的JSON数据。数据是由15个变量组成的时间序列。我想使用c#应用程序实时处理此数据，该应用程序相当复杂，并将输出事件发送到其他服务(可以是存储或PowerBI)。您认为最好的架构方法是什么? 1.尝试使用c#代码处理流分析中的数据，我知道.Net支持天青流分析，但我认为还为时过早？有这种方法的经验吗? azure流分析是否支持复杂的c#算法? 2.将数据存储到azure数据湖并使用数据湖分析来处理数据？非常感谢您的经验和建议。非常感谢

浏览 0提问于2017-07-05得票数 0

2回答

特征工程技术清单

feature-selection、feature-extraction、feature-engineering、feature-construction、featurization

是否有任何资源与一系列的功能工程技术？数据类型、模型和特征工程技术的映射将成为金矿。

浏览 0提问于2016-07-25得票数 18

1回答

如何对数据进行预处理？

machine-learning、data-mining、predictive-modeling、data-cleaning、preprocessing

用于机器学习和预测模型的数据预处理的一般方法是什么?要采取的步骤顺序是什么？

浏览 0提问于2017-10-28得票数 -1

回答已采纳

7回答

数据可视化在生活的哪里可以应用？

大数据可视交互系统

现在都在提大数据的可视化，不知道到底具体运用是在哪里？腾讯云能不能进行数据可视化？

浏览 1971提问于2018-07-24

3回答

用于填充缺失数据的方法或算法

c#、algorithm

我正在处理缺少数据的数据集，需要能够向前、向后和填补差距。因此，例如，如果我有从2000年1月1日到2010年12月31日的数据，并且某些天丢失了，当用户请求开始于丢失的数据点之前、结束于丢失的数据点之后或包含丢失的数据点的时间跨度时，我需要“填充”这些丢失的值。有没有合适的术语来指代这个填写数据的概念？归罪是一个术语，但不知道它是否是它的“术语”。我假设有多种算法和方法来填充缺失的数据(使用上次测量的数据，使用两个已知数字之间的中值/平均值/移动平均值等，等等。任何人都知道这个问题的合适术语，任何关于这个主题的在线资源，或者理想情况下到一些算法的开源实现的链接(最好是C#，但任何语言都

浏览 9提问于2011-02-25得票数 4

回答已采纳

9回答