首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >我的神经网络每天都有新的数据,我想要传输(?)学习

我的神经网络每天都有新的数据,我想要传输(?)学习
EN

Data Science用户
提问于 2020-06-11 05:28:13
回答 1查看 81关注 0票数 1

我做了神经网络,它是pre-trained for 180 days of data.

代码语言:javascript
运行
复制
It filters the fraud data of credit cards everyday and 1-days new data is comming in.

我还想在过滤之后,

我想重新训练我的人工智能模型,但我只想使用新的1天数据(因为训练神经网络真的很费时)。

我的人工智能模型是0(非欺诈)/1(欺诈)分类模型。我想用1/181改变我的神经网络.因为数据量只是一天

我该如何训练神经网络?如果我只使用了一天的数据,运行了许多时代(时间),它将过度适合.通过早停,似乎一天的数据列车不是.足够.

我想像LSTM这样的记忆可能需要我的神经网络..。什么样的神经网络设计最适合我的情况??

EN

回答 1

Data Science用户

回答已采纳

发布于 2020-06-11 09:38:30

所以,我相信你要问的问题是如何在一天的数据价值上重新训练模型,而不是对所有180天的数据进行培训。

这显然是合理的,你已经看到了过度拟合,这可能是由于模型的复杂性(相关的网络深度)。

因此,改变模型的体系结构以适应这个分类任务肯定是一个好主意。为此,在不了解您的模型架构的情况下,我将查看总体深度(即神经网络中的层数)。

为了澄清,LSTM(类似于RNNs 递归神经网络)通常用于作为数据x_i \in \textbf{x}的顺序数据,其中0 < i < N (N是按顺序排列的数据示例数)在模型中被顺序地馈送到每个时间步骤的i或输入序列中的后面的输出。

我头脑中的一个建议是,由于RNN只是一个普通的具有重复隐藏层的NN,所以我们可以使用传输学习(您已经说过了)。

传递学习的本质是,当我们对一个模型进行预处理时,通常会对大量(泛型)数据进行预处理,然后我们采用这个预先训练过的模型,并修改网络体系结构的输出部分,以适应分类任务(在您的情况下,添加一个softmax层来输出在这两个类上的概率分布)。然后,我们用不同的数据(在您的例子中,您的单个一天的数据值)来训练这个修改过的模型。

为了防止模型失去泛化性能,我们通常会在预先训练过的模型的隐藏层中冻结参数更新,并且只允许模型的修改部分更新它们的参数。这还具有减少训练模型所需时间的额外好处。

所以,这就是我的建议,首先用180天的数据对你的模型进行预训练,然后修改你训练过的模型以适应这个任务,分类为一天的价值,训练模型,但只更新模型修改后的部分中的参数。

票数 2
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/75814

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档