机器学习中的数学——激活函数（六）：Parametric ReLU（PReLU）函数

大家好，又见面了，我是你们的朋友全栈君。

PReLU 也是 ReLU 的改进版本： P R e L U ( x ) = { x , x > 0 α i x , x ≤ 0 PReLU(x)=\left\{ \begin{aligned} x & \quad ,x > 0 \\ \alpha_i x & \quad , x\leq 0\\ \end{aligned} \right. PReLU(x)={ xαi​x​,x>0,x≤0​

PReLU函数中，参数 α \alpha α通常为0到1之间的数字，并且通常相对较小。

• 如果 α i = 0 \alpha_i=0 αi​=0，则PReLU(x)变为 ReLU。
• 如果 α i > 0 \alpha_i>0 αi​>0，则PReLU(x)变为Leaky ReLU。
• 如果 α i \alpha_i αi​是可学习的参数，则PReLU(x)为PReLU函数。

PReLU函数的特点：

• 在负值域，PReLU的斜率较小，这也可以避免Dead ReLU问题。
• 与ELU相比，PReLU 在负值域是线性运算。尽管斜率很小，但不会趋于0。

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/151180.html原文链接：https://javaforall.cn