pandas时间序列数据预处理

文章/答案/技术大牛

发布

1回答

python、pandas、dataframe、time-series、visualization

我的数据帧看起来像这样： text timestamp1 b 2016-06-20 14:083 d 2016-07-11 19:07我想把每个月的数据总结如下：count timestamp0 2 2016-062 1 2016-08 原始数据集(dt)可以

浏览 2提问于2016-08-02得票数 3

回答已采纳

1回答

python中不规则高频时间序列数据的预处理

machine-learning、python、time-series、bigdata、pandas

最初在...posted中使用的StackOverflow (可能更适合这里)我正在处理不规则的、高频的时间序列数据.在一秒钟内，我可以有多个数据点，如下面的timestamp字段所示03T12:27:54.253" "timestamp": "2018-06-03T12:27:54.548" 我正在为这个时间

浏览 0提问于2018-07-06得票数 1

1回答

在哪里可以学习时间序列数据的预测/分析？

classification、time-series、regression、preprocessing、forecasting

我想学习时间序列数据分析和预测。我在机器学习方面知识渊博，对深度学习(包括RNN，LSTM)有很好的了解。我知道时间序列与正常数据有很大的不同，因此大多数预处理、特征提取方法都不能用于时间序列数据，而且时间序列算法的工作方式与一般的机器学习算法略有不同。尽管我读了很多文章，仍然对时间序列分析和预测感到困惑(比如在删除数据文具的情

浏览 0提问于2022-01-31得票数 0

1回答

是否可以在Pandas中构建自己的多变量数据集？

python、pandas、time-series、forecasting、multi-step

我正在努力学习更多关于多变量时间序列预测的知识。我想根据天气数据来预测难民抵达欧洲的情况。到达数据来自不同的来源，天气数据也是如此。有没有办法将这两者结合起来，以便有一个用于多变量时间序列预测的数据集?1个时间序列:每月到达数据2个时间序列:天气数据有没有可能用天气数据和到达数据制作一个数据

浏览 6提问于2021-07-05得票数 0

2回答

创建用于对时间序列预处理功能进行基准测试的数据集

dataset、time-series、data-cleaning、correlation、preprocessing

我的任务是比较不同初创公司提供人工智能辅助数据预处理的能力.由于法律原因，我无法提供公司数据作为基准，甚至不能使用相同的结构和模式进行模拟，这意味着我要么自己创建一个与公司无关的模拟数据集，要么在互联网上找到一个为了澄清问题，我所说的数据是指时间序列。我所期望的一些简单的例子:使用互相关对齐时间序列，去噪，找出相关性，异常点检测等等。是否有任何(免费)数据集设计成难以对数据进行预处理</e

浏览 0提问于2017-05-31得票数 -1

2回答

使用相同的预处理代码进行训练和推理

machine-learning、amazon-sagemaker、amazon-machine-learning

我正在为时间序列数据构建一个机器学习管道，其目标是频繁地对模型进行重新培训和更新，以进行预测。我编写了一个预处理代码来处理时间序列变量并对它们进行转换。我对如何使用相同的预处理代码进行训练和推理感到困惑？我是应该写一个lambda函数来预处理我的数据，还是有其他方法？

浏览 19提问于2019-11-19得票数 11

1回答

TensorFlow lstm为测试数据集中的每个不同示例预测相同的类概率。

time-series、tensorflow、lstm

我正在使用tensorflow进行时间序列分类。我正在向lstm单元提供固定窗口时间序列，并且我试图对属于A类或b类的时间序列进行分类。经过一些培训后，我正在测试新的时间序列模型，这些时间序列从未被训练过。问题是，该模型对测试数据集中的每个不同时间序列预测相同的概率。它的行为就像不同的时间序列是相同的。你知道为什么会这样吗？

浏览 3提问于2016-06-01得票数 0

回答已采纳

2回答

通过json文件输入的LSTM形状

python-3.x、keras、lstm

我正在进行LSTM的工作，在对数据进行预处理之后，我以列表的形式得到数据X，该列表包含3个功能列表，每个列表包含50分的列表序列。X = [list:100 [list:3 [list:50]]]由于它是一个多变量LSTM，我不知道如何将所有3个序列作为Keras的输入。我需要在Pandas数据帧中转换它吗？

浏览 1提问于2020-10-06得票数 0

回答已采纳

1回答

对时间序列进行聚类时的不规则/缺失数据

python、r、time-series、cluster-analysis、spline

无论是动态时间扭曲，还是时间序列的某种欧几里德k均值聚类，它都是(接近？)总是需要考虑数据的不规则间距、不相等的数据长度和/或数据的缺失。虽然意识到这些问题中的每一个都有自己的考虑因素，但是为什么不能用样条对每个时间序列进行预处理以插值(或最小限度地外推)数据来改善这些问题呢？

浏览 0提问于2020-02-22得票数 2

1回答

用SageMaker对大量数据进行有效管理以训练角膜模型

amazon-s3、keras、bigdata、amazon-sagemaker

我正在进行一个深度学习项目，其中包含了数千个.csv文件(每个文件约为15 of )中大约700 of的类似于表的时间序列数据。一个带有内置预处理的定制keras生成器是最好的解决方案吗？

浏览 0提问于2018-09-19得票数 2

回答已采纳

1回答

熊猫切片列和基于条件之间的选择子集

python、pandas、dataframe

我有如下数据：timestamp 2020-11-0112:05:00 0.5 1 0.2 我希望使用dataframe来选择值大于等于0.5而小于等于1的列，并且需要发生这些事件的索引/时间戳我还想要列值在0.5到1之间的时间差，所以从上面看是3分钟和10分钟。

浏览 3提问于2020-11-27得票数 0

回答已采纳

1回答

将时间序列数据集输入R中的神经网络之前应遵循的步骤

r、neural-network、forecast、mlp

嗨，我有一个时间序列数据集如下所示。当它被策划的时候，这就是我所认识的。我被要求预测数据集中的时间序列。但是，我不确定需要做哪些预处理步骤，然后再将其提供给NN。我需要输入固定数据吗？因为在其他模型中，比如ARIMA，SAMIRMA有这样的步骤。神经网络R功能可以用于MLP，因为我被要求使用吗？

浏览 3提问于2020-11-18得票数 1

1回答

时间序列海量数据集的聚类方法

algorithm、time-series、cluster-analysis

如果数据的维数较低，则很容易创建距离矩阵。但是，如果一个时间序列有大约8000个点需要考虑呢？for j in range(total_series):很明显，创建这个矩阵所需的最小时间将是现在，如果我们比较两个时间序列的所有8000个点，时间复杂度将非常高。我只是在谈论对齐距离(欧几里得)，而不是一些编辑距离。因为我们有大约50,000个时间

浏览 2提问于2017-04-16得票数 2

2回答

应用于单个时间序列的独立分量分析

c++、math

我做了很多年的COBOL程序员，虽然我对c++有点生疏，但经过一段时间的复习，我可以做得很好。我已经做了几年的期货交易，并为自己设定了在单一时间序列数据(期货价格、股票价格)上实施ICA的任务。独立分量分析算法是it++包(fastICA)的一部分，但是在独立分量分析的前提下，对时间序列数据进行预处理是必要的，前提是观测的数目至少和源的数目一样大。根据我的发现，预处理包括构造一个矩阵Y，其中包含第一列中的原始时间<

浏览 2提问于2012-12-12得票数 1

1回答

时间序列输入在多元多项式回归模型中起作用吗？

model-selection

在完成我的在线课程后，我试图做一个附带的项目，以便更好地理解整个数据科学。我现在正处于项目总体布局的早期阶段，我想知道你是否可以把时间序列数据和变量(必要时进行归一化)放在多元多项式回归模型中？

浏览 0提问于2023-05-11得票数 0

回答已采纳

1回答

时间序列预测数据的预处理

python、pandas

好吧，所以我在研究如何做时间序列预测。和往常一样，它是对数据的预处理，这是最困难的部分。我知道，我必须将数据文件中的“时间戳”转换为“日期时间”或“时间步骤”--我就是这样做的。()来解析数据。如果我这样做了，请建议如何正确地做这件事) 我也理解我的数据缩放部分。(有人能向我解释一下缩放是如何工作的吗?我知道它把我所有的数据都转换到了我给它的范围内，但是我的预测的输出是否也是缩放的。)最后，一旦我对

浏览 2提问于2020-05-27得票数 1

回答已采纳

1回答

时间序列预测的数据预处理

rnn

我有一个具有以下结构的数据集 [ [ product 1 ,shelf number, position on the tray, time of stay on the shelf, was

浏览 0提问于2020-06-25得票数 0

1回答

时间序列预测训练模型

python、tensorflow、machine-learning

因此，我加载并预处理了我的数据，以便进行时间序列预测。我已经建立了一个模型，但现在我不知道如何真正地训练它。以下是代码：import pandas as pdimport matplotlib as plt # Loading我做了一些研究，但没有关于如何具体训练时间序列预测模型的深入教程。

浏览 1提问于2020-05-27得票数 0

回答已采纳

1回答

如何使用apache storm从传感器数据中找到连续的时间序列？

apache-storm

我们正在使用Apache storm对一些传感器数据进行一些预处理。数据类似于。我们的需求之一是检测连续的时间序列。例如，我们有4个数据，T1，T2，T3，T4，其中T4-T3大于1分钟，其余的差小于1分钟，我们认为T1，T2，T3是一个连续的时间序列，T4是另一个时间序列的开始。我们的拓扑结构如下:spout-->数据编解码器螺栓-->时间序列检测

浏览 0提问于2015-05-26得票数 0

2回答

样本时间序列数据集R和python

python、r、time-series

因为我很懒，所以我不想花时间下载数据集，加载数据集并执行预处理来测试不同时间序列上的一些示例函数。在R和python中有哪些示例timeseries数据集可用？(可以很容易地进口)。这里有虹膜数据集(可以很容易地使用data(iris)在我的环境中加载)。

浏览 4提问于2016-09-07得票数 3

回答已采纳

点击加载更多