问为什么缩放数据在神经网络(LSTM)中非常重要

EN

你的问题让我想起了我们班使用的一张图片，但你可以在3:02从这里上找到一张类似的图片。

​

​

在上面的图片中，你可以明显地看到左边的路径比右边的长得多。将缩放应用到左侧，使之变为右侧。

也许关键是非线性。我的方法来自混沌理论(分形，多重分形，.)而非线性动力系统的输入范围和参数值对系统行为有很大的影响。这是由于非线性，在tanh情况下，区间-1，+1中的非线性类型不同于其它区间，即在[10，无穷大]范围内。一个常数。

任何非线性动力系统只在一个特定的范围内对参数和初始值都有效，见逻辑映射。根据参数值和初始值的范围，logistic映射的行为是完全不同的，即对初始条件的敏感性可以看作是非线性自引用系统。

一般情况下，非线性动力系统与神经网络有一些显著的相似之处，即非线性系统辨识中Volterra级数模型的衰落记忆性质和递归神经网络中的消失梯度。

强混沌系统对初始条件具有敏感性，由于记忆的衰落，Volterra级数和RNNs都不可能再现这种严重的非线性行为。消失梯度

因此，数学背景可能是非线性在特定的间隙范围内更“活跃”，而线性在任何地方都是同样活跃的(它是线性的或接近常数)。

在RNN和单分形/多重分形的上下文中，有两个不同的含义。这尤其令人困惑，因为RNNs与非线性自引用系统有着很深的联系。

• 在RNNs的上下文中，缩放是指仿射变换意义下输入或输出值的范围的限制。
• 在单分形/多重分形尺度的背景下，非线性系统的输出具有一种特殊的结构，即在单分形的情况下具有尺度不变量，在自仿射分形的情况下具有自仿射.其中的比例相当于“缩放级别”。

RNNs和非线性自引用系统之间的联系在于它们都是非线性的和自引用的。

一般来说，对于初始条件的敏感性(这与对RNNs中标度的敏感性有关)和结果结构中的尺度不变性(输出)只出现在非线性自引用系统中。

以下是对非线性自引用系统输出的多重分形和单分形标度的一个很好的总结(不要与RNNs的输入输出标度相混淆)：http://www.physics.mcgill.ca/~gang/eprints/eprintLovejoy/neweprint/Aegean.final.pdf

本文研究了非线性系统与RNN的直接联系：https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4107715/ --随机矩阵非线性系统建模:回波状态网络的修正