首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

全新激活函数 | 详细解读:HP-x激活函数(附论文下载)

1简介 本文提出了orthogonal-Padé激活函数,它是可以训练的激活函数,在标准深度学习数据集和模型中具有更快的学习能力,同时可以提高模型的准确率。...根据实验,在六种orthogonal-Padé激活中找到了2种最佳的候选函数,作者称之为 safe Hermite-Pade(HP)激活函数,即HP-1和HP-2。...本文提出了Orthogonal-Padé激活函数。Orthogonal-Padé函数可以近似大多数连续函数。...3.2 Orthogonal-Padé activation Unit (OPAU) g(x)由有理函数G(x)的orthogonal-Padé近似定义为: 其中 属于正交多项式集合。...对输入x和参数 、 计算公式(6)的梯度如下: 4具有orthogonal-Padé激活以及函数近似的网络 Orthogonal-Padé网络类似于Padé网络,即将具有PAU或safe PAU的网络替换为

92320
您找到你想要的搜索结果了吗?
是的
没有找到

全新激活函数 | 详细解读:HP-x激活函数(附论文下载)

1简介 本文提出了orthogonal-Padé激活函数,它是可以训练的激活函数,在标准深度学习数据集和模型中具有更快的学习能力,同时可以提高模型的准确率。...根据实验,在六种orthogonal-Padé激活中找到了2种最佳的候选函数,作者称之为 safe Hermite-Pade(HP)激活函数,即HP-1和HP-2。...本文提出了Orthogonal-Padé激活函数。Orthogonal-Padé函数可以近似大多数连续函数。...3.2 Orthogonal-Padé activation Unit (OPAU) g(x)由有理函数G(x)的orthogonal-Padé近似定义为: 其中 属于正交多项式集合。...对输入x和参数 、 计算公式(6)的梯度如下: 4具有orthogonal-Padé激活以及函数近似的网络 Orthogonal-Padé网络类似于Padé网络,即将具有PAU或safe PAU的网络替换为

75020
领券