处理不平衡的时间序列数据

文章/答案/技术大牛

发布

1回答

machine-learning、keras、time-series、lstm、imbalanced-data

具有传感器的时间序列数据： +----+----------+----------+------++----+--------0.1 |0.01 ||... until day 30 我已经构建了一个LSTM模型，它根据前7天来预测30天的目标值Dense(1, activation='sigmoid')) model.co

浏览 4提问于2020-06-21得票数 1

1回答

使用传感器的时间序列预测故障的最佳模型

python、classification、lstm、recurrent-neural-network、prediction

我正在与一家公司合作一个项目，开发用于预测性维护的ML模型。我们拥有的数据是日志文件的集合。在每个日志文件中，我们都有来自传感器(温度、压力、MototSpeed等)的时间序列。和一个变量，我们在其中记录发生的故障。这里的目标是构建一个模型，该模型将使用日志文件作为其输入(时间序列)并预测是否会出现故障。为此，我有一些问题: 1)能够做到这一点的最佳模型是什么?2)处理不平

浏览 4提问于2020-06-02得票数 0

1回答

如何定义毕火炬中的“不关心”类？

python、deep-learning、pytorch、loss、cross-entropy

我有一个时间序列分类任务，在这个任务中，我应该为每个时间戳t输出3个类的分类。在数据集中有3个以上的类，它们也是不平衡的。我的网络应该按顺序查看所有的样本，因为它将其用于历史信息。如果框架上的预测与这3个类的标记不同，我不关心结果。如何在火炬中正确地做到这一点？

浏览 1提问于2021-03-15得票数 1

回答已采纳

1回答

对R中的横截面时间序列数据进行重采样

r、resampling

我正在处理横截面时间序列数据(随着时间的推移，许多不同的人)。在个人层面上，每个人都有一定数量的商品需求。关于每个时期有多少人，这个数据是不平衡的。对于每个时间段，我将各个数据聚合到一个时间序列中。下面的数据结构示例横截面时间序列 Time | Person | Quantity -----

浏览 14提问于2018-12-22得票数 3

回答已采纳

1回答

如何处理极不平衡的时间序列数据集

scikit-learn、time-series、cross-validation、class-imbalance

我需要分类一个相对较小的时间序列数据集。训练集维度是5087行(分类)由3197列(时间样本)组成，这些列(或据我所理解)是模型的特征。不幸的是，dataset是非常不平衡的: 5087行中只有37行(0.7%)是“正”。你会怎么处理这个？我将不得不使用Scikit-学习图书馆。因为这是我使用Scikit的第一种方法--学习，我想尝试一个非常简单的分类器，只有很少的</e

浏览 0提问于2020-05-11得票数 1

回答已采纳

1回答

具有复杂数据集的下采样问题

pandas、downsampling、imbalanced-data

我有一个不平衡的数据集，我想降低它的样本。，t表示值的顺序，值表示测量值，类表示时间序列所属的类。这是一个不平衡的数据集，我想将它降到以下几个方面：final_frame['id_uniqe'] = [0,0,0,1,1,1] final_frame因此，我从每个类中的每个时间

浏览 1提问于2020-04-24得票数 1

回答已采纳

5回答

范畴变量的大no与范畴的大no

classification、random-forest、preprocessing、categorical-data、class-imbalance

我正在处理一个二进制分类问题，其中数据集略有不平衡(30%，类0，70%，类1)。这样做可以吗？此外，什么样的分类器将是最适合这样的任务？我在看随机森林。然而，由于数据</

浏览 0提问于2019-06-04得票数 5

1回答

非平衡面板数据:如何使用时间序列分割交叉验证？

python、machine-learning、scikit-learn、panel、cross-validation

我目前正在处理一个大的不平衡数据集，并想知道是否可以使用时间序列拆分交叉验证从sklearn到将我的培训样本分成几个“折叠”。我希望每个折叠只包含横截面观察，在特定的折叠的时间框架内。如前所述，我使用的是一个不平衡的面板数据集，它使用了Pandas的多索引。这里是一个提供更多直觉的可复制的示例

浏览 0提问于2019-05-29得票数 4

回答已采纳

1回答

注意力掩码能保持0到1之间的值吗？

machine-learning、nlp、attention-mechanism、imbalanced-data

我是新的关注为基础的模型，并希望了解更多关于注意面具在NLP模型。 attention_mask：形状批处理_大小、顺序_长度的可选torch.LongTensor，在0，1中选择索引。如果输入序列长度小于当前批处理中的最大输入序列长度，则使用该掩码。当批处理有不同长度的句子时，我们通常会使用它作为掩码。因此，对于长度为5的特定序列(加上最后2个标记)-> [1,1,1,0,

浏览 0提问于2021-05-16得票数 2

1回答

建立一个基于不平衡数据的模型可以吗？

machine-learning、scikit-learn、imbalanced-data

背景-我正在处理的数据集是高度不平衡的，类的数量是543。数据以日期为界。经过5年的研究，我发现这种不平衡是固有的，而且是持久的。模型将得到的测试数据也将以一个日期范围为界，并且也会出现类似的不平衡。造成数据不平衡的原因是消费金额不同，产品受欢迎程度不同。处理不平衡会对企业

浏览 0提问于2020-07-10得票数 3

1回答

何时应平衡时间序列数据集？

machine-learning、classification、time-series、class-imbalance

我正在训练一种机器学习算法来对时间序列中的向上/向下趋势进行分类，而且我使用的是一个不平衡的特征集。似乎有必要平衡数据，因为算法可以学习到对某一特定趋势的偏见，但这是以非代表性数据集为代价的。我应该平衡我的数据吗？如果是这样的话，随机抽样是正确的方法吗？

浏览 0提问于2018-02-22得票数 5

3回答

在机器学习中数据集不平衡的情况下，AUC是比准确性更好的指标吗?如果不是，那么哪个是最好的指标？

python、machine-learning、artificial-intelligence、roc、auc

auc在处理不平衡数据方面是否更好。在大多数情况下，如果我处理的是不平衡的数据，那么准确性并不能给出正确的想法。尽管准确率很高，但模型的性能很差。如果不是auc，这是处理不平衡数据的最好方法。

浏览 146提问于2019-02-26得票数 0

回答已采纳

3回答

不平衡时间序列数据的重新排列

r、dplyr

我有一个很大的不平衡数据集(大约2000股)，包括股票的回报数据，现在我想重新安排返回数据，所以所有的数据都是在同一天结束的。我的数据如下所示：1990-11-30 0,03 0,20 0,30，我希望所有的股票回报都在1991-06-30年结束，并在早期填写NA，所以看起来是这样的</

浏览 0提问于2018-08-28得票数 2

回答已采纳

4回答

处理巨大的数据集不平衡(2个类值)和适当的ML算法

machine-learning、dataset

我有训练和测试的时间数据集，包括305000实例和70000，适当。每个实例中有15个特性，只有2个可能的类值(新的，旧的)。问题是，在火车组中只有725个旧的实例，在测试中只有95个。唯一成功处理不平衡的算法是Weka中的NaiveBayes (旧类的精确度为0.02)，其他的(树)则将每个实例归类为新的。在这种情况下，处理<

浏览 0提问于2014-08-07得票数 4

1回答

如何对面板数据使用插入符号/时间片？

r、panel、caret

我有关于股票回报和相应功能的面板数据。我想做一个交叉验证，使用时间片。 initialWindow = 48, horizon = 12, fixedWindow = T, skip = 11)train_2: d

浏览 5提问于2021-07-14得票数 0

2回答

不平衡训练数据集中正向类概率接近50的模型预测

classification、class-imbalance

我有一个二元分类模型，其中我预测的正类，只占整个训练数据集的10%。这个不平衡的数据集的问题是，我的模型对正类的预测概率不超过0.6。为什么会这样？我知道这是由于不平衡的数据集，有一些答案，建议如何处理不平衡的数据集。我以前处理过不平衡的数据</e

浏览 0提问于2019-10-21得票数 2

1回答

方差分析中不平衡数据与缺失数据的区别

r、statistics、anova、experimental-design

在双向重复测量方差分析中，我被告知aov函数不能处理不平衡数据。ezAnova和car::Anova可以处理不平衡的数据，但不能处理丢失的数据。如果有任何丢失的数据，一种方法是使用线性混合效应模型。实际上，我对实验设计中不平衡数据和缺失数据的区别感到困惑。我的理解是在不平衡设

浏览 13提问于2017-12-07得票数 0

1回答

Python sklearn中的训练集

python、machine-learning、scikit-learn

如果我有一个在子组大小方面有偏差的数据集，例如，如果我试图预测'a'，'b'，'c‘标签，但我的数据集有1000个'a’标签，500个'b‘标签和250个'c’标签，sklearn是否有任何解决方法，或者它会自动将此考虑在内吗

浏览 1提问于2019-12-03得票数 0

2回答

机器学习还是生存分析？

machine-learning、classification、data-cleaning、preprocessing、survival-analysis

我正在构建磁盘故障的预测模型(发生磁盘故障所需的时间以及哪些参数会对磁盘故障产生强烈影响)。我有点困惑于-由于数据高度不平衡，我应该考虑哪些类型的机器学习模型？几天前，我读到了关于生存分析的文章，现在我陷入了一个难题:问题是生存分析还是机器学习？我目前正在使用BackBlaze(https://

浏览 0提问于2016-07-20得票数 3

1回答

中断行为-在使用新数据之前耗尽全部缓冲区

java、asynchronous、apache-kafka、disruptor-pattern、lmax

我们在K8s的云中对我们的应用程序进行了负载测试。我们的入站消息是通过Kafka发送的，我们正在给Kafka回信。我们的架构是这样的: Kafka线程将消息推送到disruptor (阻塞等待策略，512大小)，业务线程将消息从disruptor中取出进行处理。为了模拟负载，我们在Kafka主题(4个分区)中设置了应用程序未运行时的关闭500K消息。然后，我们启动应用程序来测量负载。我们看到的是，disruptor完全填满了剩余<em

浏览 35提问于2020-07-21得票数 0

点击加载更多