深度残差收缩网络（一）背景知识

深度残差收缩网络（Deep Residual Shrinkage Network）是深度残差网络（Deep Residual Network, ResNet）的一种改进，发表在IEEE Transactions on Industrial Informatics上，面向的是样本含有噪声的情况。

简单地讲，深度残差收缩网络就是，将软阈值化作为可训练的模块，嵌入到ResNet之中。

（1）噪声的含义

如前所述，深度残差收缩网络面向的是样本含有噪声的情况。事实上，这里的“噪声”，可以有着更宽泛的解释。“噪声”不仅可以指数据获取过程中所掺杂的噪声，而且可以指“与当前任务无关的信息”。

比如说，我们在训练一个猫狗分类器的时候，如果图像中存在老鼠，那么老鼠就可以理解为一种噪声。

图1 猫和老鼠

或者说，在故障诊断领域，对于一个复杂的机械系统，可能存在很多个激振源。许多个轴、轴承、齿轮和联轴器等的旋转或啮合都可能会激发振动。这些振动成分都混杂在所采集的振动信号中。如果我们的目的是检测某一零件（比如某一个齿轮）是否发生故障，则其他零件所激发的振动，在一定程度上，都可以理解为噪声。

从这个角度来讲的话，深度残差收缩网络可能有着更宽广的应用场景。

（2）软阈值化（soft thresholding）

软阈值化是信号降噪里一个非常常见的概念，它指的是将一段信号的值，朝着“零”的方向进行收缩。比如，在下面的这张图片里，横轴x表示输入，纵轴y表示输出。那么，相较于输入信号，输出信号就朝着“零”发生了收缩。

图2 软阈值化

这种降噪方式有一个前提。那就是，接近于零的部分是噪声，或者说，是不重要的，可以被剔除掉。然而，事实上，对于很多信号，接近于零的部分，可能包含着许多有用的信息，不能直接被剔除掉。所以，现在通常不会直接对原始信号进行软阈值化处理。

针对上面这个问题，传统的思路是将原始信号进行某种变换，将原始信号转换成其他形式的表征。理想情况下，在这种转换后的表征里，接近于零的部分，是无用的噪声。在这个时候，再采用软阈值化对转换后的表征进行处理。最后，将软阈值化处理之后的表征，重构回去，获得降噪后的信号。

举个例子，小波分析经常作为信号的变换方法。一种经典的小波降噪流程是“小波分解→软阈值化→小波重构”。通过这种方式，就可以实现信号的降噪。

然而，这种信号降噪方式有一些悬而未决的问题。首先，在小波分析中，如何构建最适合当前信号的小波函数，或者说滤波器、局部滤波算子，一直是一个很困难的问题。换句话说，在小波分解之后，可以获得一个信号表征（一组小波系数）；在这个信号表征里面，接近于零的部分，未必就是噪声，可能还包含着许多有用的信息；对这个表征进行软阈值化，可能会将有用信息给一并删除了。其次，如何设置软阈值化的阈值，也是一个很困难的问题。

（3）深度残差学习（ResNet）

相较于传统的小波分析，深度学习算法（尤其是卷积神经网络）可以自动地学习所需要的滤波器，在一定程度上解决了构建合适滤波器的问题。深度残差网络ResNet是一种改进的卷积神经网络，通过引入跨层连接，降低了模型训练的难度，见下图：

图3 残差模块

在跨层连接的作用下，网络参数的训练难度大幅降低，从而更容易训练出效果很好的深度学习模型，因此ResNet成为了一种非常知名的方法。深度残差收缩网络就是ResNet的一种改进。

到这里就介绍了一些相关的背景知识，后续再介绍深度残差收缩网络的细节。

附上论文的链接：

M. Zhao, S. Zhong, X. Fu, B. Tang, and M. Pecht, “Deep Residual Shrinkage Networks for Fault Diagnosis,” IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898

https://ieeexplore.ieee.org/document/8850096