PADé激活单元：深度网络中灵活激活功能的端到端学习

原文标题：Padé Activation Units: End-to-end Learning of Flexible Activation Functions in Deep Networks

摘要：深度网络学习的性能很大程度上取决于与每个神经元相关的非线性激活函数的选择。然而，确定最佳激活是不容易的，选择取决于体系结构、超参数，甚至取决于数据集。通常，这些激活是在训练前用手固定的。在这里，我们演示了如何通过使用灵活的参数有理函数来消除对第一次选择固定激活函数的依赖。由此产生的Padé激活单位(Paus)既可以近似共同的激活函数，也可以学习新的函数，同时提供紧凑的表示。我们的经验证据表明，使用Paus的端到端学习深度网络可以提高预测性能，并减少普通深度架构的训练时间。此外，Paus还为具有可证明鲁棒性的逼近铺平了道路。

地址： https://arxiv.org/abs/1907.06732

作者： Alejandro Molina, Patrick Schramowski, Kristian Kersting