如何在python中用当天和时间的均值来推算时间序列数据中的缺失值
在Python中，可以使用当天和时间的均值来推算时间序列数据中的缺失值。下面是一个完善且全面的答案：
缺失值是指在时间序列数据中存在的空白或缺失的数据点。推算缺失值是为了填补这些空白，使得数据集更完整和连续。
在Python中，可以使用以下步骤来推算时间序列数据中的缺失值：
- 导入必要的库：
import pandas as pd
import numpy as np- 读取时间序列数据：
data = pd.read_csv('data.csv')- 将日期列转换为日期时间格式：
data['日期'] = pd.to_datetime(data['日期'])- 设置日期列为数据框的索引：
data.set_index('日期', inplace=True)- 创建一个新的数据框，包含完整的日期范围：
date_range = pd.date_range(start=data.index.min(), end=data.index.max(), freq='D')
complete_data = pd.DataFrame(index=date_range)- 将原始数据与完整日期范围的数据进行合并：
complete_data = complete_data.merge(data, how='left', left_index=True, right_index=True)- 使用均值填充缺失值：
complete_data['缺失值列名'] = complete_data['缺失值列名'].fillna(complete_data['缺失值列名'].mean())在上述代码中，需要将"data.csv"替换为实际的数据文件名，"日期"替换为实际的日期列名，"缺失值列名"替换为实际存在缺失值的列名。
推荐的腾讯云相关产品：腾讯云云服务器（CVM）和腾讯云数据库（TencentDB）。
腾讯云云服务器（CVM）是一种弹性、安全、稳定的云计算基础设施服务，可提供可扩展的计算能力，适用于各种应用场景。
腾讯云数据库（TencentDB）是一种高性能、可扩展的云数据库服务，支持多种数据库引擎，提供可靠的数据存储和管理功能。
更多关于腾讯云云服务器和腾讯云数据库的详细信息，请访问以下链接：
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
相关·内容
我正在处理一个数据集，并对NAs进行了多次推算。下面是一个简化的示例，其中我创建了一个新列，其中包含了NAs的原始数据和推算值(即一天中时间的平均值)。代码运行得很好，但是我在日期方面太弱了，我想知道是否有更简单的方法来计算一天中的平均时间日期/时间值？
arrivals <- data.frame(
ships=c("Glory","Discover","Intrepid","Enchantment","Summit"),
times=c("8:00","10:00"
浏览 2提问于2012-06-13得票数 1
回答已采纳
2回答
我有两个时间序列向量：complete_data和incomplete_data。向量中的数据由6个可能发生的事件组成，这些事件在整个向量中随机发生。原则上，两者应该是相同的，因为在complete_data中的每个事件中，都会将相同的事件添加到incomplete_data中。然而，在现实中，系统中存在一些异常，并不是complete_data中的所有事件都被发送到incomplete_data。因此，complete_data比incomplete_data长。我需要找出两者在模式上的差异，并对它们进行标记。我做了一个尝试，但它假设两个向量之间的差异发生在一个块中，而在现实中，incomp
浏览 4提问于2018-10-29得票数 2
回答已采纳
我正在构建一个Python代码来分析新冠肺炎在不同国家的增长情况，每次运行代码时，我都使用OWID数据库获取最新的值：
data = pd.read_csv("https://raw.githubusercontent.com/owid/covid-19-data/master/public/data/owid-covid-data.csv")
data.to_csv('covid.csv')
data
OWID不仅提供CSV文件，而且还提供XLSX和JSON格式，JSON具有3D结构，这对效率有帮助吗？
我试图创建一个新的Dataframe，其中国家名作为列标
浏览 0提问于2021-06-14得票数 0
回答已采纳
2回答
我正在处理this (52Kb)数据集。 在这里，某些行的steps列中包含NA。对于推算，我采用了一个基本假设，即我将在所有日期的每个interval中取steps的平均值，将其存储在interval_avg df中，然后推算与该间隔对应的平均值。 我试着这样做： invisible(sapply(c('tidyverse','lubridate'),library,character.only = T))
data = read.csv(unzip('repdata_data_activity.zip'),
浏览 10提问于2020-10-03得票数 0
回答已采纳
1回答
时间序列中缺失数据的替换和推算
、、、、
我有一些日期和时间的缺失值的时间序列数据，我想有一个考虑到日期的推算方法，例如，如果星期一下午1点我有一个丢失的数据，我会用上周一同一时间的相同记录(数据)来替换它。
如果有人能帮助我，我将不胜感激，以下是我所拥有的数据格式的摘录：
date total hour
2021-02-09 10:00:00 102.0 10
2021-02-09 11:00:00 175.0 11
2021-02-09 12:00:00 234.0 12
2021-02-09 13:00:00
浏览 4提问于2021-05-07得票数 0
1回答
数据有一个以Time_id为索引的系列。索引不是日期时间索引，因此可以修复丢失的时间间隔。我的问题是：
我能和ARIMA一起预测这个系列吗？
如果是，我如何处理丢失的Time_ids？如下图所示，我想填补Time_id中的空白。因此，我需要添加更多的行，其中包含Time_id 8,9，值为0。这是一个巨大的数据，许多可能缺失的时间间隔。如果有人能帮我解决这个问题，那就太好了。示例图像在下面的链接中。
浏览 1提问于2022-03-06得票数 0
我有一个场景，其中我有一个包含4列的dataframe：
date, product, store, sales_amt
1/1/2019, A,A,200
1/1/2019,A,B,120
1/2/2019, A,A,75
1/3/2019,A,A,69
1/3/2019,A,B,23
--
--
--
1/31/2019,A,B,49
日期应该跨越一个月(例如，在这个例子中，2019年1月)，但是在dataframe中有一些缺失的日子。
有没有人有任何关于Python代码的技巧，可以循环遍历特定月份的日期，并将一个新行添加到缺少的date、product/store组合和sa
浏览 5提问于2019-10-26得票数 2
回答已采纳
2回答
我有30个国家的失业数据，但在excel表格中，这些所有数字都是字符串，所以我首先将它们转换为浮动，然后如果行为空，则用其列平均值替换行。函数工作良好，不返回任何错误，但当我打印数据时，仍有空值。
data=pd.read_excel(r'C:\Users\OĞUZ\Desktop\employment.xlsx')
data=data.set_index('Unnamed: 0')
for column in data:
for row in column:
if len(row)>5:
浏览 8提问于2021-12-10得票数 0
我是一个设计一个脚本来获取一些数据并将其平均化。我有一个包含两个表的MySQL数据库，表1包含来自传感器的连续数据，它存储为id、data、time戳。表有格式id、hasAverage、时间戳。
我想要的：
(1)每次从表1中取6个值，并将其平均值
(2)将平均值放入表2中的hasAverage中
对于第(1)部分，我做了这个SQL查询，它做的也是这样：
SELECT AVG(data) FROM (SELECT data FROM Table1 ORDER BY id DESC LIMIT 0, 6) items;
执行时，这会给出平均值作为输出。
对于第( 2 )部分，如何将表1中的输出
浏览 15提问于2022-05-14得票数 1
我正在做一个学术项目，涉及到基于数据集预测房价。但是，我被困在一个特定列的data cleaning进程中，该列指示属性的构建日期。我不能仅仅通过用均值或中位数来替换缺失的值来impute它。我正在寻找所有可能的方法来估算这样的数据，这些数据是有意义的，而不仅仅是随机数字。此外，该项目的范围只允许我在R中使用linear regression models，所以我不希望像XGBoost这样的模型自动处理推算。
浏览 0提问于2020-10-10得票数 1
当我将数据从客户端发送到服务器端时，日期时间类型为"ReviewStartDate“和"ReviewEndDate”的两个属性发生了更改。两个属性日期时间在客户端不更改。但是服务器端的两个属性值已经改变了。如何能很好地解决这个问题？
客户端发送数据截图
当点击控制器操作时服务器端调试屏幕截图
在转换到当地时间之后
这是我的模型课
public class Product
{
public int ProductId { get; set; }
public DateTime? ReviewStartDate { get; set; }
浏览 0提问于2019-02-20得票数 0
是否可以将CSV读入熊猫DataFrame，并在一行中将空格(或空单元格)设置为0？下面是这个问题的一个例子。
输入：
$ csvlook data.csv
|------+---+------|
| a | b | c |
|------+---+------|
| | a | 0.0 |
| 0 | b | 1.0 |
| 1.5 | c | 2.5 |
| 2.1 | d | 3.0 |
|------+---+------|
我想要的：
python% print(df)
a b c
0 0 a 0.0
1
浏览 3提问于2017-04-24得票数 3
回答已采纳
1回答
我使用的是python的pandas，但我不知道如何将时间序列重新采样到1分钟的分辨率，并使用梯形规则计算每个间隔的平均值。 假设我们在文件data.csv中得到了以下时间序列 time_stamp,x
2000-01-01 00:00:00,0.0
2000-01-01 00:00:10,100.0
2000-01-01 00:02:00,100.0
2000-01-01 00:03:00,200.0 请注意，在第一分钟的大部分时间里，x值都等于100，所以答案是 2000-01-01 00:00:00: 50.0,
2000-01-01 00:01:00: nan,
2000-01-01
浏览 27提问于2020-01-29得票数 0
我有一组谷歌分析数据从一个网站，我计划分析一个项目。但是，由于维护和其他因素，有些日期块没有数据。我想要推算这些数据，同时仍然保持数据的完整性，因为我计划绘制这些集合，并随着时间的推移比较不同集合的曲线。
我希望使用与每个丢失的数据点最接近的有效数据点来估算该值，以便维护从图像中可以看到的底层形状。
我已经尝试过使用scikit-learn的KNN计算器和迭代计算器，但我要么没有理解这些计算器应该如何使用，要么它们不适合我想要做的事情，可能两者都有。
import pandas as pd
from sklearn.experimental import enable_iterative_
浏览 13提问于2020-02-06得票数 1
回答已采纳
4回答
将季度添加到R日期
、、、、
我有一个R时间序列数据，其中我计算到特定日期的所有值的平均值，并将此平均值存储在日期+4个季度中。日期都是月底。为了实现这一点，我希望增加4个季度的日期。我的问题是如何在R date数据类型中添加4个季度。下面是一个示例：
a <- as.Date("2006-01-01")
b <- as.Date("2011-01-01")
date_range <- quarter(seq.Date(a, b, by = "quarter"), with_year = TRUE)
> date_range[1] + 1
[1] 2
浏览 2提问于2016-06-27得票数 2
1回答
在我们的应用程序中，保存新数据的结束日期非常重要。
例如，如果编写一条新消息，我希望用户只需10个小时就可以看到它。使用rest和sql数据库，我可以轻松地创建带有服务器时间(+10小时)的结束日期时间，并将消息保存在数据库中。当为用户加载消息时，我可以选择结束日期时间之前的所有消息。
如何使用Firebase实时数据库进行此操作？也许用Firebase云功能？我不想用客户时间。
浏览 3提问于2017-11-07得票数 2
回答已采纳
想要使用腾讯云的CVM服务器并把原主机数据迁移至CVM。请问使用冷迁移是如何操作，相比起其他迁移方式呢？
浏览 2552提问于2018-09-05
1回答
我面临以下问题，我有一个有角和java的play应用程序。在一个页面中，客户端在日历中选择某个日期和时间，例如2015-04-03 15:00，该数据作为日期放在JavaScript对象中，稍后将这些数据提交给我的服务器，但服务器似乎正在将此日期/时间转换为他的时区，保存2015-04-03 16:00，而不是客户端发送的15:00。
当我将数据提交给服务器后，当我重新加载数据时，它将被保存在数据库中，页面将显示一个小时后的日期。
向服务器发送数据。注意，有一个打印日期时间的console.info()。它正在打印正确的日期/时间。用户选择的日期/时间。
$scope.confirmCallb
浏览 3提问于2015-05-10得票数 1
回答已采纳
我想使用日期/时间作为Pandas中数据的索引。
但是，日光节约时间在数据库中没有得到适当的处理，因此夏时制结束之日的日期/时间值有25个小时，并表示为：
2019102700
2019102701
...
2019102724
我使用以下代码将这些值转换为DateTime对象，并将其用作Pandas的索引：
df.index = pd.to_datetime(df["date_time"], format="%Y%m%d%H")
但是，这会产生一个错误：
ValueError: unconverted data remains: 4
大概是因为to_datet
浏览 4提问于2020-08-16得票数 1
回答已采纳
5回答
我正在从R过渡到Python。我刚开始用潘达斯。我有一个R代码，它很好地设置了：
k1 <- subset(data, Product = p.id & Month < mn & Year == yr, select = c(Time, Product))
现在，我想在Python中做类似的事情。到目前为止，这就是我所得到的：
import pandas as pd
data = pd.read_csv("../data/monthly_prod_sales.csv")
#first, index the dataset by Product.
浏览 3提问于2013-10-08得票数 66
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
